Sudar Bratstva i Jedinstva, poraz Slobode