← Voltar ao Blog
Pesquisa

Reprodutibilidade e validade: como confiar em pesquisa de performance

Por Luiz Soares
2024-12-0410 min de leitura
📰

Discussão transparente de limitações, ameaças à validade e passo a passo para replicar o experimento Go vs Java, gRPC vs REST.

Nenhum estudo é completo sem explicitar riscos. Transparência sobre ameaças à validade ajuda a aplicar os resultados de forma consciente.

Hardware/software: mesmo em ambiente controlado, efeitos de JIT, GC e caches podem interferir, mas afetam todas as implementações igualmente. Representatividade de payload: StdSize/LargeSize podem não refletir o seu tráfego. App simplificada: não há banco, lógica pesada ou alta concorrência.

Para reproduzir, disponibilizamos todo o pacote: quatro implementações, cliente de carga, dados coletados, scripts em R e documentação de setup.

Próximos passos: testar tamanhos adicionais para achar pontos de virada entre gRPC e REST; variar frequência de requisições; avaliar infra (cloud vs bare metal); incluir handlers computacionalmente intensivos para medir benefícios de concorrência por linguagem.

#Validade#Reprodutibilidade#Performance#APIs#Open Science
LS

Sobre Luiz Soares

TechLead Full-Stack especializado em produtos de IA, sistemas RAG e integrações com LLMs. Apaixonado por construir soluções escaláveis e compartilhar conhecimento com a comunidade de tecnologia.

Fale comigo →