← Zurück zum Blog
Forschung

Reproduzierbarkeit und Validität: Vertrauen in Performance-Forschung

Von Luiz Soares
2024-12-0410 Min. Lesezeit
📰

Transparente Diskussion über Einschränkungen, Validitätsbedrohungen und Schritt-für-Schritt-Anleitung zur Replikation des Go-vs-Java-, gRPC-vs-REST-Experiments.

Kein Experiment ist ohne Risiken. Offenheit über Validitätsbedrohungen erhöht das Vertrauen und hilft bei der Übertragung auf den eigenen Kontext.

Hardware/Software: Trotz kontrollierter Umgebung können JIT, GC und Cache-Effekte Messungen beeinflussen, treffen aber alle Implementierungen gleichermaßen. Payload-Repräsentativität: StdSize/LargeSize spiegeln nicht jedes Profil wider. Vereinfachte App: kein DB, keine schwere Logik, keine hohe Parallelität.

Für die Replikation stellen wir alles bereit: vier Implementierungen, Load-Client, gesammelte Daten, R-Skripte und Setup-Anleitung.

Nächste Schritte: weitere Payload-Größen für Wendepunkte zwischen gRPC und REST; Request-Frequenzen variieren; Infrastrukturprofile testen (Cloud vs. Bare Metal); rechenintensive Handler einbauen, um Sprachauswirkungen auf Parallelität zu messen.

#Validität#Reproduzierbarkeit#Performance#APIs#Open Science
LS

Über Luiz Soares

Full-Stack-TechLead, spezialisiert auf KI-Produkte, RAG-Systeme und LLM-Integrationen. Begeistert davon, skalierbare Lösungen zu bauen und Wissen mit der Tech-Community zu teilen.

Kontakt aufnehmen →