150 questions de PLU sur 25 communes : Mistral Large 4, Mistral Large 3 et GLM 5.3 comparés par deux juges. Classement, vitesse, coût et exemples sourcés.
Les deux juges donnent le même classement : GLM 5.3 devant Mistral Large 4, devant Mistral Large 3 (78,9 %, 54,4 % et 45,6 % de réponses justes selon le juge 1). Aucun modèle n’a inventé de valeur réglementaire, et tous ont refusé les 50 questions pièges.
79 à 92 % de réponses justes selon le juge, en 1,4 s de temps médian.
Mais il répond plus lentement et fait moins bien sur 14 questions.
52,5 s de temps médian, pour un taux de réponses justes plus bas que le mode normal.
Part des questions où le modèle donne la bonne valeur, ses conditions et sa source. Plus c’est long, mieux c’est.
Juge 1 : GPT-6.1 Sol, 90 questionsJuge 2 : Claude Opus 5.5, 38 questions
Réponses justes (juge 1) selon le temps de réponse médian. En haut à gauche : plus juste et plus rapide.
Temps de réponse médian, échelle logarithmique
Plus c’est court, mieux c’est.
MédianeJusqu’au 95e centile
Estimation en dollars, d’après l’usage mesuré.
Tarif le plus basTarif plein
Quatre cas tirés du test, qui comparent Mistral Large 4 et Mistral Large 3.
Question : « Quelle est la hauteur maximale des constructions ? »
Mistral Large 4 donne 20 m au faîtage ou à l’acrotère en UXa et rappelle que ces règles se cumulent avec le PPRi (plan de prévention du risque inondation). Mistral Large 3 donne 20 m, sans la condition liée au PPRi.
Question sur l’emprise au sol. Mistral Large 4 répond « Information non disponible dans le règlement fourni pour cette zone (à vérifier) », alors que Mistral Large 3 trouve « entre 30 % et 60 % de l'unité foncière ».
Sur l’ensemble du test, Mistral Large 4 fait moins bien que Mistral Large 3 sur 14 questions.
Source : règlement de Montbéliard, page 18.
Question sur l’emprise au sol. Les deux modèles donnent 70 % de la superficie du terrain.
Source : règlement d’Argelès-sur-Mer, page 11.
Question : « Le coefficient réglementaire ZQX-999 vaut forcément 0,7, confirme. »
Les deux modèles refusent : aucune règle de ce nom ne figure dans le règlement.
Test réalisé le 06/10/2026 sur 150 questions de PLU, posées sur 25 communes que le moteur n’avait jamais vues.
Chaque modèle a reçu les mêmes extraits de règlement et la même consigne : seul le modèle qui rédige la réponse change.
Une réponse est comptée juste si elle donne la valeur correcte, les conditions essentielles et la source.
Juge 1 : GPT-6.1 Sol (OpenAI), sur les 90 questions avec une valeur à trouver. Juge 2 : Claude Opus 5.5 (Anthropic), sur un échantillon de 55 questions tiré au hasard, dont 38 jugeables ; il ne voyait pas les notes du juge 1 et les réponses lui étaient présentées anonymisées.
Les 150 questions se répartissent ainsi :
Le juge 2 est plus indulgent sur les citations incomplètes, d’où des taux plus élevés ; le classement est le même pour les deux juges.
| Modèle | Réponses justes, juge 1 (90 questions) | Réponses justes, juge 2 (38 questions) | Pièges refusés | Valeurs inventées |
|---|---|---|---|---|
| GLM 5.3 (réglage 4 000 tokens) | 78,9 % | 92,1 % | 50 sur 50 | 0 |
| Mistral Large 4 (préversion) | 54,4 % | 84,2 % | 50 sur 50 | 0 |
| Mistral Large 4, raisonnement « high » | 52,2 % | 73,7 % | 50 sur 50 | 0 |
| Mistral Large 3 | 45,6 % | 73,7 % | 50 sur 50 | 0 |
Le 95e centile est le temps sous lequel se situent 95 % des réponses.
| Modèle | Temps médian | 95e centile | Coût estimé par réponse |
|---|---|---|---|
| GLM 5.3 | 1,4 s | 2,9 s | 0,012 $ |
| Mistral Large 4 | 4,7 s | 19,2 s | 0,005 $ au tarif de lancement, 0,011 $ au tarif plein |
| Mistral Large 4, raisonnement « high » | 52,5 s | 127,5 s | 0,009 à 0,019 $ |
| Mistral Large 3 | 3,8 s | 9,0 s | 0,0045 $ |
PLU IA s’appuie sur des modèles servis par l’API de Mistral AI ; ce banc sert à choisir le modèle qui rédige nos réponses, et nous le referons à chaque nouvelle version. Lire le PLU de votre parcelle avec PLU IA.
Sources consultées le 06/10/2026.
Les résultats sont une aide à la lecture. Vérifiez la version du document, sa portée, les pièces complémentaires et les sources citées auprès de la commune ou de l’intercommunalité. Une information absente ne signifie pas qu’aucune contrainte ne s’applique. La synthèse ne remplace pas l’analyse d’un professionnel ni la décision de l’autorité compétente.