Em meio a tamanhas divergências dentro da Constituinte ocorreu o espancamento do jornalista Luís Augusto May, redator do Malagueta, periódico ligado aos democratas e responsável por críticas apimentadas aos Andradas. Publicação típica da imprensa da época e de grande repercussão, na corte em especial, tinha como lema uma frase do filósofo francês Rousseau: "Quando se diz acerca dos negócios do Estado – o que me importa? – deve-se dizer que o Estado está perdido".
May, na publicação de 5 de junho de 1823, fez diversos ataques a José Bonifácio. A reação veio a seguir, na noite do dia 6, em forma de agressão, conforme narrada pelo próprio May: "Alguns homens que o tempo não permitiu contar (...) que levavam espadas (...) que eu vi".
O episódio repercutiu bastante na Constituinte. Comentava-se que os mandantes seriam os Andradas, com o conhecimento do imperador. Alguns, murmurando, chegaram até a insinuar que o próprio D. Pedro I teria participado da violenta agressão.
Em meio a tudo isso, os conflitos entre as forças políticas (Partido Português e Partido Brasileiro) prosseguiam, desarticulando a frágil unidade existente dentro da Assembleia Constituinte e enfraquecendo, por outro lado, o Ministério dos Andradas. Dentro do Partido Brasileiro, por exemplo, surgiam desavenças entre os Andradas e outros membros do seu grupo.
Esses desacordos ocorreram desde que José Bonifácio apresentou à Assembleia uma representação sobre a escravidão no Brasil. Defendia a ideia – que despertava muita desconfiança e desagrado em inúmeros componentes do Partido Brasileiro (proprietários de escravos e de terras) – da extinção gradual da escravidão. Dizia que, dessa forma, surgiria uma "nação homogênea, sem o que nunca seremos verdadeiramente livres, respeitáveis e felizes".
Tantas discordâncias, acrescidas de inúmeras intrigas políticas, propiciaram a queda do Gabinete dos Andradas, que, segundo o historiador Pedro Octávio Carneiro da Cunha, "acontecera sobre um terreno de acordo entre a maioria dos deputados e o monarca".
A partir de então, na Constituinte – para a qual tinham sido eleitos – e no jornal O Tamoio, José Bonifácio e seus irmãos, Antônio Carlos e Martim Francisco, promoveram constante oposição ao governo de D. Pedro I.
O escritor e jornalista Euclides da Cunha, posteriormente, comentou que os Andradas, "apeando-se do poder, apelaram para os recursos que condenavam na véspera".