¶ Modèle d'évaluation d'armasuisse : analyse critique

¶ Résumé

L'Office fédéral de l'armement (armasuisse) a utilisé pour la première fois, dans le cadre de l'évaluation des types du programme Air2030, la méthode AHP (Analytic Hierarchy Process) avec 79 critères individuels répartis en quatre catégories principales. Le F-35A a obtenu 336 points, avec une avance d'au moins 95 points sur le deuxième classé. [1]

Cette page analyse la méthodologie d'évaluation, explique le fonctionnement de la méthode AHP, la compare aux procédures d'évaluation courantes dans l'industrie de l'armement et documente les critiques parlementaires et spécialisées à l'égard du modèle d'évaluation.

---

¶ 1. Le modèle d'évaluation d'armasuisse en détail

¶ 1.1 Vue d'ensemble : procédure d'évaluation en deux phases

armasuisse a conduit l'évaluation en deux phases distinctes -- une procédure dite à deux enveloppes : les spécialistes techniques n'avaient pas accès aux coûts et vice versa. L'objectif était de garantir une évaluation impartiale. [2]

Phase 1 : Évaluation technique (2019-2020)

• Essais en vol des quatre candidats sur la base aérienne militaire de Payerne (avril-juin 2019)
• Tests au sol et simulations
• Collecte de données techniques pour les 79 critères d'évaluation

Phase 2 : Évaluation commerciale (2020-2021)

• Premier appel d'offres (2018)
• Deuxième appel d'offres (janvier 2020) avec des exigences précisées [3]
• Offres de prix et calcul des coûts du cycle de vie sur 30 ans

¶ 1.2 Les quatre critères d'évaluation avec pondération

armasuisse a évalué les candidats sur la base de quatre critères principaux avec une pondération fixe : [2]

L'utilité globale ainsi déterminée a été mise en regard des coûts d'acquisition et d'exploitation sur 30 ans (analyse coûts-bénéfices). [2]

¶ 1.3 Résultat de l'évaluation

Le F-35A a obtenu le meilleur résultat global avec 336 points. L'écart avec le deuxième classé s'élevait à au moins 95 points. Fait remarquable : le F-35A l'a emporté non seulement en matière d'efficacité, mais aussi en support produit et en coopération. [1]

---

¶ 2. La méthode AHP : fonctionnement et classification scientifique

¶ 2.1 Principe fondamental de l'Analytic Hierarchy Process

La méthode AHP a été développée dans les années 1970 par Thomas L. Saaty à l'Université de Pittsburgh et publiée pour la première fois en 1980 dans l'ouvrage "The Analytic Hierarchy Process". [4]

Idée de base : AHP décompose les décisions complexes en une hiérarchie :

Niveau 0 : OBJECTIF
            "Meilleur avion de combat pour la Suisse"
                 │
Niveau 1 : CRITÈRES PRINCIPAUX
            Efficacité (55%) | Support produit (25%) | Coopération (10%) | Offset (10%)
                 │
Niveau 2 : SOUS-CRITÈRES
            79 critères individuels chez armasuisse
                 │
Niveau 3 : ALTERNATIVES
            F-35A | Rafale | Eurofighter | Super Hornet

¶ 2.2 L'échelle de Saaty (1-9)

Contrairement à une attribution classique de notes, AHP fonctionne avec des comparaisons par paires sur l'échelle dite de Saaty : [4]

¶ 2.3 Déroulement mathématique

1. Établir la matrice de comparaisons par paires : Pour n critères, n(n-1)/2 comparaisons sont nécessaires
2. Calculer le vecteur propre : Le vecteur propre principal de la matrice fournit les pondérations
3. Vérification de la cohérence : Calcul de l'indice de cohérence (CI) et du ratio de cohérence (CR)
   • CR = CI / RI (Random Index)
   • Critère d'acceptation : CR ≤ 0.10 (maximum 10% d'incohérence)
   • Si CR > 0.10, les comparaisons par paires doivent être révisées
4. Agrégation : Les priorités locales multipliées par les pondérations donnent les priorités globales

¶ 2.4 L'effet de contraste -- phénomène critique de l'AHP

Un problème central de la méthode AHP est l'effet de contraste : de petites différences réelles conduisent à des écarts de points disproportionnellement élevés.

Thomas Ferber, un expert AHP, avait déjà mis en garde contre cet effet en 2021, le comparant à un "curseur de contraste dans Photoshop". [5] Son évaluation : l'analyse de la valeur utile classique serait "plus équitable, car plus précise et plus différenciée".

Les représentants des constructeurs non retenus ont qualifié l'évaluation AHP de "boîte noire". [5]

¶ 2.5 La "fonction de transfert" d'armasuisse

armasuisse était conscient de l'effet de contraste et a intégré une "fonction de transfert" pour l'atténuer. [2] Toutefois, le fonctionnement exact de cette fonction de transfert n'a pas été documenté publiquement -- un point de critique qui compromet la traçabilité de l'évaluation.

---

¶ 3. Comparaison avec les procédures d'évaluation courantes

armasuisse a utilisé avec la méthode AHP une procédure inhabituelle dans les marchés d'armement internationaux. Le tableau suivant compare AHP avec les alternatives établies :

¶ 3.1 Analyse classique de la valeur utile (NWA/MAUT)

¶ 3.2 Autres procédures en bref

PROMETHEE (Preference Ranking Organization Method for Enrichment Evaluation)

• Développée par Jean-Pierre Brans (1982)
• Méthode de surclassement avec fonctions de préférence
• Avantage : prend en compte l'incomparabilité
• Diffusion : études académiques, rarement en acquisition commerciale

ELECTRE (ELimination Et Choix Traduisant la REalité)

• Méthode française de surclassement (Bernard Roy, années 1960)
• Permet des seuils de veto (critères éliminatoires)
• Critiquée comme "boîte noire"
• Diffusion : France, projets de l'UE

Best Value Procurement (standard du DoD américain)

• Procédure dominante dans les acquisitions américaines (FAR 15.101-1)
• Compromis entre qualité technique et prix
• Larges marges d'appréciation
• Diffusion : DoD américain, acquisitions OTAN

Total Cost of Ownership (TCO)

• Axé sur les coûts du cycle de vie (30+ ans)
• Pris en compte chez armasuisse en complément de la valeur utile AHP
• Forte incertitude prévisionnelle

¶ 3.3 Tableau comparatif

¶ 3.4 Conclusion de la comparaison méthodologique

La méthode AHP est scientifiquement fondée et offre, grâce à la vérification de cohérence, un avantage par rapport à la NWA classique. Cependant, l'effet de contraste constitue un problème significatif, qu'armasuisse a tenté de résoudre par une "fonction de transfert" non documentée.

L'analyse classique de la valeur utile aurait été plus transparente et aurait suscité moins de critiques. Dans la pratique internationale de l'armement, AHP est une exception -- la Finlande, la Belgique, le Canada et l'Allemagne ont utilisé d'autres procédures.

---

¶ 4. Plausibilisation externe par Homburger AG

¶ 4.1 Attribution du mandat et coûts

Le 27 avril 2021, le DDPS, sous la direction de la conseillère fédérale Viola Amherd, a mandaté oralement le cabinet d'avocats Homburger AG pour la plausibilisation du résultat d'évaluation. Les coûts de l'expertise initiale se sont élevés à 550'000 CHF. [6]

Coûts totaux des mandats du DDPS à Homburger (2021-2025) : environ 2,5 mio. CHF pour plus de 9 mandats. [6]

¶ 4.2 Résultat et clause de non-responsabilité

Homburger est parvenu à la conclusion que le classement des fournisseurs était "plausible". [7]

Toutefois, l'expertise contenait une clause de non-responsabilité de grande portée : Homburger excluait toute responsabilité quant à l'exactitude et l'exhaustivité des résultats. [6]

¶ 4.3 Ce qui n'a PAS été examiné

La CdG-N a constaté que Homburger n'avait pas examiné des aspects essentiels : [7]

• Pas d'examen juridique des garanties de prix fixe
• Pas de validation de la répartition des risques FMS
• Pas d'examen indépendant des coûts du cycle de vie

L'examen financier a été délégué à Gut Corporate Finance. [6]

¶ 4.4 Contre-vérification de la plausibilisation

Le 18 juin 2021, l'Office fédéral de la justice (OFJ) a été chargé de "plausibiliser" l'expertise Homburger -- une plausibilisation de la plausibilisation. [6]

---

¶ 5. Critiques du modèle d'évaluation

¶ 5.1 Points de critique du CDF (rapport d'examen n° 21410)

Le Contrôle fédéral des finances (CDF) a publié le 8 juillet 2022 le rapport d'examen n° 21410 sur la gestion des risques Air2030, avec les points de critique centraux suivants : [8]

• "Aucune sécurité juridique pour le prix fixe" au sens d'un forfait selon la jurisprudence suisse
• Incertitude concernant les coûts de maintenance sur l'ensemble de la durée de vie
• L'expertise succincte de Homburger a été remise en question
• Les coûts d'exploitation reposent sur des estimations, et non sur des engagements contraignants

¶ 5.2 Rapport de la CdG-N (9 septembre 2022)

La Commission de gestion du Conseil national (CdG-N) a formulé cinq recommandations relatives au processus d'acquisition : [7]

1. Le Conseil fédéral a restreint sa marge de manœuvre de manière inutile -- il n'a pas pu intégrer d'aspects de politique extérieure dans la décision de type
2. Le traitement ultérieur des résultats d'évaluation par le DDPS était "en partie inapproprié"
3. La méthode AHP a été appliquée pour la première fois dans un dossier important, ce qui comporte "certains risques"
4. Il n'est pas compréhensible pourquoi armasuisse a renoncé aux expériences des pays exploitant le F-35
5. La pratique des "closing meetings" doit être réexaminée

Réaction du Conseil fédéral : une recommandation partiellement acceptée, une rejetée, trois considérées comme "déjà remplies". [7]

¶ 5.3 Critique spécialisée

Problématique de la pondération :

• La forte pondération de l'"efficacité" (55%) a possiblement favorisé l'offre technologiquement la plus avancée (F-35A avec technologie furtive)
• Les risques en matière de souveraineté (restrictions ITAR, dépendance FMS) étaient possiblement sous-pondérés dans le critère "coopération"

Comparabilité des coûts :

• Les coûts FMS (Government-to-Government) et les coûts d'achat direct (Rafale, Eurofighter) n'ont possiblement pas été rendus méthodiquement comparables
• Le FMS repose sur des estimations, les offres européennes contenaient des prix fixes

¶ 5.4 Accusations de biais (sources secondaires)

Les constructeurs non retenus et des médias critiques ont formulé les reproches suivants : [9]

• Incohérences "vers la fin du processus d'évaluation"
• Modification tardive des conditions de paiement (mai 2021) désavantageant certains fournisseurs
• "Closing meetings" avec à l'ordre du jour "traitement des données" (accusation de destruction de documents)

Ces reproches ont été rejetés par armasuisse. Une évaluation définitive n'est pas possible en raison de la classification du rapport d'évaluation.

---

¶ 6. Comparaison internationale : méthodes d'évaluation

¶ 6.1 Finlande : HX Challenge (2015-2021)

• Méthodologie : Multi-Criteria Decision Analysis (MCDA) avec examen externe par le VTT Technical Research Centre
• Candidats : 5 (F-35A, Rafale, Eurofighter, Super Hornet, Gripen E)
• Transparence : Élevée -- publication d'un rapport public détaillé
• Implication parlementaire : Oui
• Résultat : F-35A (décembre 2021) [10]

¶ 6.2 Belgique : Fighter Capability Programme (2014-2018)

• Méthodologie : Modèle coût-efficacité (orienté TCO)
• Candidats : Formellement 2 (Eurofighter s'est retiré)
• Transparence : Moyenne
• Examen externe : Aucun connu
• Résultat : F-35A (octobre 2018)

¶ 6.3 Canada : Future Fighter Capability Project (2010-2023)

• Méthodologie : Après un scandale initial de source unique, évaluation ouverte avec critères pondérés (Scored Evaluation with Weighted Criteria)
• Candidats : 3 (F-35A, Gripen E, Super Hornet)
• Transparence : Élevée (après réforme)
• Examen externe : Auditor General of Canada
• Résultat : F-35A (mars 2022) [11]

¶ 6.4 Allemagne : succession du Tornado (2022)

• Méthodologie : Pas d'évaluation ouverte -- décision politique préalable
• Justification : La participation nucléaire OTAN nécessite une certification américaine
• Candidats : De facto uniquement F-35A
• Résultat : F-35A (mars 2022) [12]

¶ 6.5 Tableau comparatif

*Eurofighter a retiré son offre

¶ 6.6 Observation

Il est remarquable que tous les pays acquéreurs du F-35, malgré des méthodes d'évaluation différentes, soient parvenus au même résultat. Cela peut être interprété comme une confirmation de la supériorité technique du F-35A -- ou comme un indice que les évaluations étaient moins ouvertes que présenté.

---

¶ 7. Évaluation de la qualité méthodologique

¶ 7.1 Objectivité

Pour :

• Les tests techniques ont été réalisés par des experts d'armasuisse
• La procédure à deux enveloppes a empêché toute influence

Contre :

• Pas d'examen externe indépendant du modèle d'évaluation lui-même
• La pondération des critères a été fixée en interne

¶ 7.2 Fiabilité

Pour :

• Système de points structuré avec des critères définis
• Vérification de cohérence (AHP)

Contre :

• D'autres pondérations auraient conduit à d'autres résultats
• Fonction de transfert non documentée

¶ 7.3 Validité

Pour :

• L'efficacité comme critère central est appropriée pour un avion de combat

Contre :

• Les aspects de souveraineté (ITAR, dépendance FMS) ne sont pas représentés de manière adéquate
• Les risques politiques liés à la dépendance envers les États-Unis n'ont pas été évalués

¶ 7.4 Transparence et contrôle démocratique

• Le rapport d'évaluation complet est classifié
• Les possibilités de consultation parlementaire (CPS-N, CPS-E, CdF-N, CdF-E) étaient limitées
• En comparaison : la Finlande a publié un rapport public détaillé

---

¶ 8. Points de critique centraux (synthèse)

¶ 8.1 Problème structurel : celui qui évalue décide

armasuisse était simultanément mandant, exécutant et bénéficiaire de l'évaluation. Un examen externe indépendant -- comme en Finlande par le VTT ou au Canada par l'Auditor General -- n'a pas eu lieu.

¶ 8.2 Le problème de la pondération

La forte pondération de l'"efficacité" (55%) a favorisé une offre technologiquement dominante. La question de savoir si cela était politiquement voulu reste ouverte.

¶ 8.3 Le problème des coûts

Les coûts FMS reposent sur des estimations, tandis que les constructeurs européens proposaient des prix fixes. Il n'est pas transparent de savoir si ceux-ci ont été rendus méthodiquement comparables.

¶ 8.4 Le problème de la transparence

La classification du rapport d'évaluation empêche une vérification indépendante et entrave le contrôle démocratique.

¶ 8.5 Le problème méthodologique

L'effet de contraste AHP et la "fonction de transfert" non documentée soulèvent des questions quant à la traçabilité.

---

¶ 9. Chronologie

---

¶ 10. Répertoire des sources

[1] VBS Medienmitteilung: Typenentscheid F-35A (30.06.2021)

[2] armasuisse Insights: AHP-Methode

[3] armasuisse: Zweite Offertanfrage (Januar 2020)

[4] Saaty, T.L. (1980): The Analytic Hierarchy Process. McGraw-Hill. / Saaty, T.L. (2008): Decision making with the analytic hierarchy process. Int. J. Services Sciences, Vol. 1, No. 1, pp.83-98.

[5] SRF: Juristisch heikle Bewertungsmethode beim Kampfjet-Kauf

[6] NZZ: Die Anwälte von Homburger spielten beim Kauf der Kampfjets eine umstrittene Rolle

[7] GPK-N Bericht vom 9. September 2022 (PDF)

[8] EFK Prüfbericht Nr. 21410: Air2030 Risikomanagement (PDF)

[9] Defense-Aerospace: How Switzerland Manipulated Data to Favor the F-35

[10] Finnish Ministry of Defence: HX Fighter Programme

[11] Government of Canada: Future Fighter Capability Project

[12] BMVg: Tornado-Nachfolger

[13] GPK-N Medienmitteilung: Inspektion Festpreis (01.07.2025)

---

¶ Protocole de vérification

---

Dernière mise à jour : 6 février 2026