Méthodologie d'évaluation
Afin de pouvoir être facilement comprise et adoptée, la méthode d'évaluation proposée ne doit pas conduire à collecter et traiter des quantités excessives de données.
La collecte doit pouvoir être mutualisée avec une collecte préexistante, dont les données sont utiles à la mise en œuvre de la méthode d'évaluation. En l'occurrence, il s'agit de la cartographie du système d'information, recensant le parc matériel et logiciel utilisé dans l'organisation. L'objectif de maîtrise des systèmes d'information constitue donc une motivation supplémentaire à la construction de cette cartographie. Celle-ci s'enrichit d'informations spécifiques, constituant un graphe d'inter-dépendances entre matériels, services et logiciels.
Les indicateurs doivent être simples à comprendre et les résultats fournis facilement interprétables : notamment, une présentation par agrégats doit donner une vision synthétique des sujets à traiter en priorité. Les indicateurs doivent aussi être suffisamment sensibles pour qu'une action unique pertinente sur le système d'information conduise à l'amélioration du résultat, rendant ainsi perceptibles les actions entreprises.
Chaque composant du système d'information doit être évalué isolément, sur la base des caractéristiques propres liées à son fournisseur et son écosystème, mais aussi en relation avec les autres composants avec lesquels il interagit, afin d'identifier les dépendances et adhérences.
Les scores de dépendance calculés sont de trois sortes :
Au niveau de chaque composant matériel et logiciel identifié.
Au niveau de chaque ensemble inter-dépendant identifié grâce au graphe de dépendances issu de la cartographie du système d'information.
Fournissant ainsi un indicateur clé de performance (« Key Performance Indicator », ou KPI) aux échelons décisionnels.
Pour des raisons mathématiques (effet de l'opération de multiplication décrit plus bas), les scores calculés sont des scores de risque, et non de conformité : plus les scores sont élevés, moins le système d'information est maîtrisé ; plus ils sont bas (proches de zéro, en pratique), plus il est maîtrisé.
Soit C l'ensemble des composants du système d'information. Ceux-ci peuvent être soit matériels, soit logiciels. Deux cas conduisent à décomposer un même équipement ou service en composants distincts :
Un équipement embarquant du logiciel (firmware d'équipement réseau, etc.) est considéré sous la forme de deux composants distincts, vraisemblablement dépendants l'un de l'autre : deux scores sont calculés, l'un pour la partie matérielle, l'autre pour la partie logicielle.
La partie cliente et la partie serveur sont considérées comme deux composants (ou systèmes multi-composants) distincts, ce qui permet de traiter séparément les questions de dépendance vis-à-vis du serveur et du client.
La méthode de calcul doit exhiber les propriétés suivantes :
Plus une inter-dépendance mobilise de composants, plus elle est risquée et plus son score doit être élevé. Le score collectif d'une technologie doit donc dépendre de la taille des agrégats formés par les sous-ensembles interconnectés du graphe de dépendances.
Certains agrégats sont plus critiques que d'autres : pour une organisation dont le cœur de métier n'est pas la publication, la suite logicielle de production graphique, même constituée d'outils très inter-dépendants, ne doit pas représenter le premier chantier. Un coefficient multiplicateur de criticité doit donc être associé à chaque agrégat, pour en pondérer le score.
L'amélioration de la maîtrise d'une fonction non critique ne doit pas systématiquement faire baisser le score global : cela donnerait l'impression que la problématique est en cours de résolution alors que les points essentiels n'ont pas été traités. Le score global est donc le maximum des scores pondérés des agrégats : il ne diminuera pas tant que l'agrégat le plus critique n'aura pas été traité — en en réduisant la taille (retrait d'un item) ou en réduisant sa criticité par des mesures de sécurisation.