Возможно, Брунеллески и не был виноват – Совет Десяти не предъявлял к нему никаких претензий. Однако флорентийцы считали Филиппо виновником провала луккской кампании, они не давали ему прохода на улицах. Брунеллески был в отчаянии. В сентябре 1431 года он составил завещание, по‑видимому, опасаясь за свою жизнь. Существует предположение, что в это время он уехал в Рим, спасаясь от позора и преследований.

Однако все это не помешало Филиппо три года спустя снова «вступить в бой, не боясь риска». В 1434 году он демонстративно отказался платить взнос в цех каменщиков и деревообработчиков. Это был вызов, брошенный художником, осознавшим себя независимой творческой личностью, цеховому принципу организации труда. В результате конфликта Филиппо оказался в долговой тюрьме. Заключение не заставило Брунеллески покориться, и вскоре цех вынужден был уступить: Филиппо освободили по настоянию музея Опера дель Дуомо, поскольку без него не могли продолжаться строительные работы. Это был своеобразный реванш, взятый Брунеллески после провала при осаде Лукки.

Филиппо считал, что он окружен врагами, завистниками, предателями, старавшимися его обойти, обмануть, обокрасть. Было ли так на самом деле, сказать трудно, но именно так воспринимал свое положение Филиппо, такова была его жизненная позиция.

На настроение Брунеллески, без сомнения, повлиял и поступок его приемного сына – Андреа Лаццаро Кавальканти по прозванию Буджано. Филиппо усыновил его в 1417 году пятилетним ребенком и любил как родного, воспитал, сделал своим учеником, помощником. В 1434 году Буджано убежал из дома, взяв все деньги и драгоценности. Из Флоренции он уехал в Неаполь. Что произошло, неизвестно, известно только, что Брунеллески заставил его вернуться, простил и сделал своим единственным наследником. По‑видимому, в этой ссоре виноват был не один Буджано.

Придя к власти, Козимо Медичи очень решительно расправился со своими соперниками Альбицци и со всеми, кто их поддерживал. На выборах в Советы в 1432 году Брунеллески впервые был забаллотирован. Он перестал принимать участие в выборах и отказался от политической деятельности.

Еще в 1430 году Брунеллески начал строительство капеллы Пацци, где нашли свое дальнейшее усовершенствование и развитие архитектурные и конструктивные приемы сакристии церкви Сан‑Лоренцо. Эта капелла, выстроенная по заказу семейства Пацци в качестве их семейной молельни и служившая также для собраний духовных лиц из монастыря Санта‑Кроче, является одним из самых совершенных и ярких произведений Брунеллески. Она расположена в узком и длинном средневековом дворе монастыря и представляет собой прямоугольное в плане помещение, вытянутое поперек двора и замыкающее одну из его коротких торцовых сторон.

Брунеллески спроектировал капеллу так, что она сочетает в себе поперечное развитие пространства интерьера с центрической композицией, а снаружи подчеркнуто фасадное решение здания с его купольным завершением. Основные пространственные элементы интерьера распределены по двум взаимно перпендикулярным осям, отчего возникает уравновешенная система здания с куполом на парусах в центре и тремя неравными по ширине ветвями креста по его сторонам. Отсутствие четвертой восполнено портиком, средняя часть которого выделена плоским куполом.

Интерьер капеллы Пацци – один из наиболее характерных и совершенных образцов своеобразного применения ордера для художественной организации стены, что является особенностью архитектуры раннего итальянского Возрождения. С помощью ордера пилястр зодчие расчленяли стену на несущие и несомые части, выявляя действующие на нее усилия сводчатого перекрытия и придавая сооружению необходимую масштабность и ритм. Брунеллески был первым, кто при этом сумел правдиво показать несущие функции стены и условность ордерных форм.