Des sauvegardes douteuses. Si quelque chose peut mal tourner, cela va mal tourner.

Lorsque vous écrivez sur un blog d'entreprise, vous avez toujours tendance à avoir cette blague d'entreprise / institutionnelle, racontant tout et rien avec des mots froids et très peu inspirants. Contrairement aux grandes entreprises américaines et aux petites entreprises qui imitent les grandes entreprises, nous souhaitons partager de manière empathique les expériences professionnelles de la vie réelle qui vous permettront de vivre des situations réelles à la troisième personne afin d'apprendre des expériences des autres. . Parce que dans un monde fait d'entreprises, de clients et de fournisseurs et de simples numéros de TVA, il y a des histoires de personnes qui méritent d'être racontées.

Aujourd'hui, je veux vous parler de la sauvegarde et de la sécurité des données vous dire ce que j'ai et ce que j'ai à dire sur un problème trop sous-estimé.

Si quelque chose peut mal tourner, cela va mal tourner.

Cet axiome pseudo-scientifique mieux connu sous le nom de La loi de Murphy était la pierre angulaire des processus organisationnels concernant la gestion de la sécurité et des sauvegardes.

Avec cette conscience au cours des dernières années 6 nous avons évalué et mis en œuvre des solutions de sauvegarde robustes et éprouvées pour garantir l'intégrité des données des clients.

Opérant avec l'ancienne marque Dreamsnet.it depuis 2005 et avec des expériences systémiques antérieures depuis 2000, jusqu'à présent, nous avions toujours utilisé une solution de sauvegarde d'instantanés incrémentielle qui permettait une restauration sélective de fichiers individuels et d'images entières. Au niveau de la base de données par exemple, nous avons utilisé (et utilisons encore) des outils qui permettent de prendre des snapshots rapidement et en respectant la logique des sauvegardes à chaud et de l'intégrité, c'est-à-dire de sauvegarder la DB sans avoir à l'éteindre et la rendre toujours disponible le service même s'il arrive à 4 heures du matin (peut-être que les utilisateurs sont endormis, mais les moteurs de recherche indexent).

Bref, pas exactement le dernier de la classe, si l'on pense qu'aujourd'hui nous avons un hébergement italien célèbre qui utilise encore l'ancien et ancestral mysqldump. Vraiment incroyable.

En treize longues années, en somme, et après plusieurs centaines de sauvegardes restaurées, aucun client n'a jamais perdu un seul fichier de ses projets.

À l'été 2018, quelque chose de nouveau, d'inattendu et de bouleversant s'est produit cela nous remettrait à jamais en question nous-mêmes et n'importe qui d'autre après cette horrible mésaventure.

C'était une journée ensoleillée, chaude mais pas moite, tee-shirt à manches courtes et short avec le cahier sur l'épaule, je venais de finir de déjeuner au parc fluvial qui borde la maison à Arad en Roumanie. Je me souviens que je rentrais bureau au centre d'affaires d'Arad, le long de la belle piste cyclable de la ville très fréquentée à l'époque par tous ceux qui comme moi étaient en pause déjeuner.

La vue vers la rivière en toute tranquillité inspirait paix et tranquillité, la vue des gens détendus sur les bancs véhiculait calme et positivité, j'étais littéralement plongé dans ce moment de bonheur où le téléphone portable se met à sonner qu'il connectait un renvoi d'appel directement depuis le bureau principal.

Retournez sur la planète Terre, celle faite de les problèmes des autres à résoudre (après tout, le travail a généralement cet objectif, n'est-ce pas ?) et je réponds avec une réponse chaleureuse

Bonjour, je suis Marco de Managed Server, comment puis-je vous aider ?

Une voix masculine répond, c'était un homme, un garçon à peu près de mon âge, entre 30 et 35 ans j'aurais estimé à l'oreille. On surmonte aussitôt les formalités de la langue italienne et on se met à l'aise en s'appelant tout de suite (d'ailleurs, sur le net et sur les réseaux sociaux on s'appelle TU dit Netiquette le saviez-vous ?)

Commencez avec un peu d'agitation pour me parler de sauvegarde, de restauration de restauration, d'échec de restauration, de données perdues et de récupération de données. Trop de concepts abstraits et déroutants, trop d'entrées fragmentées et beaucoup de confusion dans ma tête. Je ne comprends pas.

Qui est celui qui me téléphone ? Êtes-vous un de nos clients?

Qu'est-il arrivé?

Parlez de sauvegardes, mais avez-vous besoin de restaurer une sauvegarde ? Vous avez perdu une sauvegarde ? Vous n'avez pas de sauvegarde ?

Serait-ce un de ces enfants qui ne savent pas faire la différence entre une machine à laver et un magnétoscope ?

J'arrête immédiatement ce flot de termes et de phrases aléatoires et vous demande d'expliquer calmement tout ce qui s'est passé depuis le début et de me demander quels étaient vos besoins.

Recommençons beaucoup plus sereinement et établissons enfin une discussion composée de phrases qui ont du sens et surtout logiquement liées.

En d'autres termes

Ce type, hébergé par une société d'hébergement française bien connue, a déclaré que la veille il avait fait une erreur avec la production de certains fichiers FTP et pris par la frustration de résoudre le problème, il avait décidé de faire un "plan propre", ou supprimer tout et restaurer une sauvegarde à la veille.

Dès lors, il s'apprête à se connecter avec son client FTP, supprimer tous les dossiers de son site et une fois terminé, depuis l'espace client, exécuter la procédure de restauration de sauvegarde depuis la confortable interface Web.

Quatre clics et le tour est joué !

Après quelques minutes d'avancement de la tâche, un message annonce la fin de l'opération de restauration.

Oh, joie, allégresse et jubilation ! Quelle meilleure nouvelle ?

Ce qui s'est passé est facile à comprendre et comme vous l'avez peut-être déjà deviné, la sauvegarde était endommagée ou plutôt VIDE. L'assistant de restauration avait restauré exactement ZERO FICHIERS laissant le répertoire de destination complètement vide, au lieu des fichiers de la veille.

Il ne se décourage pas, n'abandonne pas et réessaye. Peut-être que quelque chose s'est mal passé.

Même procédure, même archive, même message de restauration. Ensuite, vous vérifiez avec le client FTP et… VIDE. Encore une fois pas de fichier. Rien, Nada, zéro, nisba.

Revenez à l'interface et sélectionnez la sauvegarde de la veille, même procédure de restauration. Même message d'achèvement réussi, même résultat. VIDE.

Sélectionnez la sauvegarde de la veille la veille. Restaurer. VIDE

Et ainsi de suite avec la sauvegarde de la veille la veille de la veille encore. 3 jours avant, 4 jours avant, 5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30, XNUMX jours avant.

Même résultat : VIDE.

Les archives à restaurer étaient épuisées, et la conclusion était unique : aucune des 30 sauvegardes jusqu'à 30 jours auparavant n'avait pu être restaurée. Cette personne n'avait aucun moyen de restaurer ses sauvegardes, son site l'alimentant.

Le problème était devenu quelque chose de vraiment énorme car il était apparemment sans solution.

À ce moment-là, j'ai ressenti un mélange d'émotions entre eux. Tristesse mêlée de joie.

Vous savez, lorsque vous vivez directement ou indirectement un mauvais événement dans lequel, par empathie, vous ressentez de la tristesse à propos de ce qui s'est passé, mais au fond aussi une pincée de joie de savoir que cette mauvaise chose ne vous est pas arrivée ? Ici, juste ce sentiment, ce mélange d'émotions aux antipodes, qui s'entrechoquent.

J'étais heureux qu'il ne soit pas un de nos clients, je n'aurais pas pu faire face à une telle situation dans laquelle le service de sauvegarde existe mais aucune des archives ne peut être restaurée. Qu'aurais-je pu dire à une PERSONNE qui habite sur le site et nourrit sa famille qui était au téléphone avec moi à ce moment-là ?

J'ai tout de suite pensé que ce problème d'éthique morale, ce sens des responsabilités n'aurait pas du tout affecté l'énorme hébergeur dont cette personne était cliente.

Au final c'était clair comment l'histoire allait se passer : cette personne aurait parlé au support téléphonique, un type y aurait mis quelques pièces par mois, aurait transmis le problème au service technique italien qui l'aurait transmis au français un et un de ses techniciens. Le technicien aurait probablement remarqué que quelque chose n'allait pas et aurait renvoyé le message au support technique italien qui aurait probablement signalé le manque de données et éventuellement demandé un remboursement ou ouvert un litige.

Litige juridique. En Italie. Déjà là, ce serait drôle, si ce n'était la situation tragique. Au contraire, ça fait pleurer quand on repense à la stipulation d'un contrat et d'un SLA (écrit dans des caractères si minuscules qu'ils devraient être illégaux), dans lesquels la société fournisseur s'indemnise de tout dommage de ce genre et de toute demande d'indemnisation. .

Il aurait été plus facile de gravir l'Everest à mains nues. (D'accord, celui sur la photo n'est pas l'Everest, mais ça donne l'idée).

Le PDG de l'entreprise ne serait même jamais au courant de l'affaire de ce père de famille désespéré d'avoir perdu 5 ans de travail. L'un des nombreux parmi des millions de clients, une goutte de l'océan. Que voulez-vous qu'un problème comme celui-ci soit pour une entreprise qui réalise des centaines et des centaines de millions de revenus par an avec des millions et des millions de clients ? Absolument insignifiant. Malheureusement.

Que pourrions-nous faire ?

Rien. Face à cette situation complexe et absolument au-delà de la mienne et de notre marge de manœuvre (le fournisseur en était un autre, nous ne savions pas quel système de sauvegarde il utilisait, quel pouvait être le système de stockage, comment avoir accès aux médias, et pourquoi avait-il mauvais accident s'est produit), que pouvions-nous faire ?

La chose la plus correcte à faire était évidemment de demander une comparaison avec leur support technique pour comprendre s'il y avait une possibilité de récupération, et en attendant de regarder si CASOMAI avait une sauvegarde locale sur votre PC peut-être quelques jours ou quelques mois auparavant.

La première suggestion n'a donné aucun résultat positif, en fait le support s'est limité à dire qu'il n'y avait aucun fichier dans la sauvegarde qui avait été fait correctement de toute façon. Cette affirmation a également été confirmée par leur support technique français de haut niveau après environ deux semaines. qui a simplement liquidé avec un "Il n'y a rien», une situation absolument grotesque et désagréable.

Un peu mieux plutôt pour ce qui concerne le conseil de rechercher une sauvegarde localement, puisqu'en réalité avec beaucoup de dévouement et de fouilles diverses dans les fichiers de son PC, il a pu trouver et restaurer une sauvegarde de quelques mois auparavant, qui bien qu'elle n'était pas la situation optimale pour réparer de tels dommages, cependant, cela a permis à cette personne de se remettre sur les rails et d'éviter la faillite inévitable si ce n'était pas le cas.

Tout est bien qui finit bien!

La leçon que nous avons apprise

Dans toute cette histoire laide, notre rôle a été absolument spectateur. Absolument hors sujet, en somme, pour le dénouement de l'histoire heureusement résolu sinon pour le meilleur, certainement pas pour le pire.

Tout cela, cependant, nous a donné l'occasion d'apprendre quelques considérations importantes jusqu'ici sous-estimées. Essentiellement, nous nous sommes posé les questions suivantes :

1. Pourquoi ce qui leur est arrivé ne peut-il pas nous arriver ?

Pourquoi une défaillance du système de sauvegarde ne devrait-elle arriver qu'aux autres hébergeurs et pas à nous ?

Ce serait hypocrite non ? C'est comme dire qu'on pourrait facilement éviter de ne pas porter de ceinture de sécurité lorsqu'on conduit car les accidents n'arrivent qu'aux autres, n'est-ce pas ? Au lieu de cela, la réponse la plus correcte et appropriée au cas est que jusque-là, ce jour d'été mémorable, la seule raison pour laquelle cela ne nous est pas arrivé était le hasard, la chance pure et simple. En bref, le fait qu'un système de sauvegarde d'instantanés très avancé n'ait jamais généré de sauvegardes corrompues. Certaine éventualité lointaine, improbable, mais pas impossible comme nous l'avons vu ce jour-là.

2. Dans quelle mesure la perte de données affecte-t-elle la vie des gens ?

La perte d'un site Web ou de données peut signifier la fin d'une entreprise. Cela signifie créer un préjudice économique sur la vie des gens, les mettant probablement dans une position de ne pas pouvoir s'offrir des biens de première nécessité. Cela ne peut pas et ne doit pas arriver, du moins cela ne doit pas arriver par notre faute, ni comme cause ni comme cause contributive.

3. Dans quelle mesure la perte de données affecte-t-elle notre entreprise ?

La perte des données d'un client peut très probablement signifier un litige. Peu importe d'avoir tort ou raison ou d'aller voir les contrats pour les différentes indemnités et SLA signés, il y a des obligations légales claires telles que celles imposées par la nouvelle loi européenne GDPR qui nous verraient accusés de diverses omissions et donc condamnés à amendes et dédommagements. . Mieux vaut investir dans la sécurité des données en allouant 10% du chiffre d'affaires sur les systèmes de surveillance, les systèmes RAID, le stockage redondant, les sauvegardes multiples, plutôt que de risquer des tribunaux, des litiges, des indemnisations et des amendes.

Qu'avons-nous fait alors ?

Ayant compris haut et fort les trois points ci-dessus, nous avons « simplement » ajouté un système de sauvegarde secondaire au système de sauvegarde actuel déjà fonctionnel, qui à son tour était redondant sur un système de stockage de données C14 avec une certification de qualité militaire en France.

En bref, si auparavant sur nos systèmes RAID1 nous n'avions qu'une seule sauvegarde qui coulait dans une zone de stockage en RAID5, nous avons aujourd'hui trois sauvegardes avec deux technologies différentes qui convergent vers trois systèmes de stockage RAID5 différents et à son tour l'un d'eux est mis en miroir sur un service de Stockage antinucléaire sécurisé de qualité militaire C14 redondant en France.

Bref, dans ce mode opératoire, un client malheureux qui a besoin de restaurer une sauvegarde peut s'appuyer sur une sauvegarde à distance qui, si elle ne fonctionne pas (hypothèse très éloignée), pourrait s'appuyer sur le deuxième système de sauvegarde, qui à son tour, si cela ne fonctionne pas (hypothèse elle-même très éloignée) pourrait compter sur la mise en miroir avec Rsync sur un autre stockage.

S'il y avait une attaque majeure (supposons une explosion nucléaire) sur le datacenter, nous aurions tout de même une mise en miroir hebdomadaire sur le stockage anti-atomique C14 en France.

Bref, la possibilité de perdre des données clients a vraiment été réduite à une limite tendant vers l'impossible. Plus que ces précautions n'existent actuellement à notre connaissance en Italie mais aussi à l'international, vu et constaté que même de très grandes entreprises avec des chiffres d'affaires de plusieurs centaines de millions d'euros continuent d'utiliser une seule et unique sauvegarde comme solution définitive pour se protéger et ses clients.

En termes de politiques internes (comme nous l'avons toujours fait), nous avons continué à proposer le service de sauvegarde inclus dans l'offre. Il n'existe pas qu'il puisse s'agir d'un service à valeur ajoutée supplémentaire avec un prix séparé. LESNous proposons une sauvegarde incluse, ce sera notre souci de protéger les clients de la meilleure façon possible, indépendamment de leur optimisme quant au fait que rien n'arrivera jamais à leurs données, ou que cela n'aidera pas.

Bref, à l'épreuve des bombes atomiques !