Le Gemini 4 Carbon de Google s’est classé juste derrière le Claude Opus 5.5 d’Anthropic dans un nouveau benchmark de modèles de pointe, tout en affichant un coût estimé par tâche considérablement inférieur.
Le benchmark GDPx, publié par la société de recherche et d’analyse en IA SemiAnalysis, évalue 206 tâches dans des domaines tels que la finance, la science des matériaux, la cybersécurité, le génie logiciel, le droit et la biologie. Il compare les principaux modèles de pointe de Google, Anthropic, OpenAI et Meta en fonction de leurs performances et de leur coût.
Le Claude Opus 5.5 a pris la tête du classement général, avec le Gemini 4 Carbon juste derrière. Cependant, l’écart de coût était considérable : le coût du Claude était estimé à environ 51 dollars par tâche, contre un peu plus de 16 dollars pour le Gemini. Le GPT-6 Astra d’OpenAI s’est classé derrière les deux modèles et coûtait environ 54 dollars par tâche.
La suppression des catégories consacrées à la cybersécurité, à la biologie et à l’alignement a modifié le classement. Le GPT-6 Astra est passé en première position, suivi du GPT 6.1 Sol et du Claude Sonnet 5.5, tandis que le Gemini 4 Carbon a reculé. SemiAnalysis a déclaré que ce résultat ajusté correspondait davantage à ses impressions subjectives concernant les modèles.
Le Gemini 4 Argon, modèle déjà existant de Google, s’est classé huitième dans les deux versions du benchmark. Il s’est placé devant le Muse Wonder de Meta, mais derrière Wonder Full, tandis que son coût n’était que légèrement inférieur à celui du Carbon dans cette évaluation.
Les modèles de Google ont obtenu de meilleurs résultats que ceux d’OpenAI et d’Anthropic dans les tâches axées sur la cybersécurité, bien que les modèles Muse de Meta aient dominé ce domaine avec une avance qualifiée d’importante par SemiAnalysis.
Google a annoncé le Gemini 4 Carbon le 28 octobre, en mettant en avant des progrès significatifs par rapport aux modèles précédents. Sa date de sortie publique n’a pas encore été confirmée, et le modèle est actuellement annoncé comme disponible prochainement pour la plupart des clients.
Sources: 9to5Google.