Janvier 26 2019

Des sauvegardes douteuses. Si quelque chose peut mal tourner, cela va mal tourner.

Print Friendly, PDF & Email

Lorsque vous écrivez sur un blog d'entreprise, vous avez toujours tendance à avoir cette blague d'entreprise / institutionnelle, racontant tout et rien avec des mots froids et très peu inspirants. Contrairement aux grandes entreprises américaines et aux petites entreprises qui imitent les grandes entreprises, nous souhaitons partager de manière empathique les expériences professionnelles de la vie réelle qui vous permettront de vivre des situations réelles à la troisième personne afin d'apprendre des expériences des autres. . Car dans un monde fait d'entreprises, de clients et de fournisseurs et de simples numéros de TVA, il y a des histoires de personnes qui méritent d'être racontées.

Aujourd'hui, je veux vous parler de la sauvegarde et de la sécurité des données vous dire ce que j'ai et ce que j'ai à dire sur un problème trop sous-estimé.

Si quelque chose peut mal tourner, cela va mal tourner.

Cet axiome pseudo-scientifique mieux connu sous le nom de La loi de Murphy était la pierre angulaire des processus organisationnels concernant la gestion de la sécurité et des sauvegardes.

Avec cette conscience au cours des dernières années 6 nous avons évalué et mis en œuvre des solutions de sauvegarde robustes et éprouvées pour garantir l'intégrité des données des clients.

Opérant avec l'ancienne marque Dreamsnet.it depuis 2005 et avec des expériences systémiques antérieures depuis 2000, jusqu'à présent, nous avions toujours utilisé une solution de sauvegarde d'instantanés incrémentielle qui permettait une restauration sélective de fichiers individuels et d'images entières. Au niveau de la base de données par exemple, nous avons utilisé (et utilisons encore) des outils qui permettent de prendre des snapshots rapidement et en respectant la logique des sauvegardes à chaud et de l'intégrité, c'est-à-dire de sauvegarder la DB sans avoir à l'éteindre et la rendre toujours disponible le service même s'il arrive à 4 heures du matin (peut-être que les utilisateurs sont endormis, mais les moteurs de recherche indexent).

Bref, pas exactement le dernier de la classe, si l'on pense qu'aujourd'hui nous avons un hébergement italien célèbre qui utilise encore l'ancien et ancestral mysqldump. Vraiment incroyable.

Bref, en treize longues années, et après plusieurs centaines de sauvegardes restaurées, aucun client n'a jamais perdu un seul fichier de ses projets.

À l'été 2018, quelque chose de nouveau, d'inattendu et de bouleversant s'est produit cela nous remettrait à jamais en question nous-mêmes et n'importe qui d'autre après cette horrible mésaventure.

 

C'était une journée ensoleillée, chaude mais pas moite, tee-shirt à manches courtes et short avec le cahier sur l'épaule, je venais de finir de déjeuner au parc fluvial qui borde la maison à Arad en Roumanie. Je me souviens que je rentrais bureau au centre d'affaires d'Arad, le long de la belle piste cyclable de la ville très fréquentée à l'époque par tous ceux qui comme moi étaient en pause déjeuner.

La vue vers la rivière en toute tranquillité inspirait paix et tranquillité, la vue des gens détendus sur les bancs véhiculait calme et positivité, j'étais littéralement plongé dans ce moment de bonheur où le téléphone portable se met à sonner qu'il connectait un renvoi d'appel directement depuis le bureau principal.

 

Retournez sur la planète Terre, celle faite de les problèmes des autres à résoudre (après tout, le travail a généralement cet objectif, n'est-ce pas ?) et je réponds avec une réponse chaleureuse

Bonjour, je suis Marco de Managed Server, comment puis-je vous aider ?

Une voix masculine répond, c'était un homme, un garçon à peu près de mon âge, entre 30 et 35 ans j'aurais estimé à l'oreille. On dépasse tout de suite les formalismes de la langue italienne et on se met à notre aise réciproque en nous donnant tout de suite le TU (d'ailleurs, sur le net et sur Social on donne le TU dit la Nétiquette le saviez-vous ?)

Commencez avec un peu d'agitation pour me parler de sauvegarde, de restauration de restauration, d'échec de restauration, de données perdues et de récupération de données. Trop de concepts abstraits et déroutants, trop d'entrées fragmentées et beaucoup de confusion dans ma tête. Je ne comprends pas.

Qui est celui qui m'appelle ? Êtes-vous un de nos clients ?

Que s'est-il passé ?

Vous parlez de sauvegarde, mais vous avez besoin de restaurer une sauvegarde ? Vous avez perdu une sauvegarde ? Vous n'avez pas de sauvegarde ?

Serait-ce l'un de ces enfants qui ne peuvent pas faire la différence entre une machine à laver et un magnétoscope ?

J'arrête immédiatement ce flot de termes et de phrases aléatoires et vous demande d'expliquer calmement tout ce qui s'est passé depuis le début et de me demander quels étaient vos besoins.

On recommence avec beaucoup plus de calme et enfin on entame une discussion composée de phrases au sens complet et surtout logiquement liées.

En d'autres termes

Ce type, hébergé par une société d'hébergement française bien connue, a déclaré que la veille il avait fait une erreur avec la production de certains fichiers FTP et pris par la frustration de résoudre le problème, il avait décidé de faire un "plan propre", ou supprimer tout et restaurer une sauvegarde à la veille.

Il est donc sur le point de se connecter à son client FTP, de supprimer tous les dossiers de son site et une fois terminé, à partir de l'espace client, effectuer la procédure de restauration de sauvegarde à partir de l'interface Web pratique.

Bref, quatre clics et c'est parti !

Après quelques minutes d'avancement de la tâche, un message annonce la fin de l'opération de restauration.

Oh joie, joie et jubilation ! Quelle meilleure nouvelle ?

Houston nous avons un problème

 

Ce qui s'est passé est facile à comprendre et comme vous l'avez peut-être déjà deviné, la sauvegarde était endommagée ou plutôt VIDE. L'assistant de restauration avait restauré exactement ZERO FICHIERS laissant le répertoire de destination complètement vide, au lieu des fichiers de la veille.

Il ne se décourage pas, n'abandonne pas et réessaye. Peut-être que quelque chose s'est mal passé.

Même procédure, même archive, même message de restauration. Ensuite, vous vérifiez avec le client FTP et… VIDE. Encore une fois pas de fichier. Rien, Nada, zéro, nisba.

Revenez à l'interface et sélectionnez la sauvegarde de la veille, même procédure de restauration. Même message d'achèvement réussi, même résultat. VIDE.

Sélectionnez la sauvegarde de la veille la veille. Restaurer. VIDE

Et ainsi de suite avec la sauvegarde de la veille la veille de la veille encore. 3 jours avant, 4 jours avant, 5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30, XNUMX jours avant.

Même résultat : VIDE.

Les archives à restaurer étaient terminées, et la conclusion n'était qu'une : aucune des 30 sauvegardes jusqu'à 30 jours auparavant n'avait été possible à restaurer. Cette personne n'avait aucun moyen de restaurer ses sauvegardes, son site l'alimentant.

Le problème était devenu quelque chose de vraiment énorme car il était apparemment sans solution.

À ce moment-là, j'ai ressenti un mélange d'émotions entre eux. Tristesse mêlée de joie.

Savez-vous quand vous vivez un mauvais événement de manière directe ou indirecte dans lequel vous ressentez de la tristesse pour ce qui s'est passé mais fondamentalement aussi une pincée de joie de savoir que cette mauvaise chose ne vous est pas arrivée ? Ici, juste ce sentiment, ce mélange d'émotions aux antipodes, qui se heurtent les unes aux autres.

J'étais heureux qu'il ne soit pas un de nos clients, je n'aurais pas pu faire face à une telle situation dans laquelle le service de sauvegarde existe mais aucune des archives ne peut être restaurée. Qu'aurais-je pu dire à une PERSONNE qui habite là-bas avec le site et nourrit sa famille qui était au téléphone avec moi à ce moment-là ?

J'ai tout de suite pensé que ce problème d'éthique morale, ce sens des responsabilités n'aurait pas du tout affecté l'énorme hébergeur dont cette personne était cliente.

En fin de compte, la suite de l'histoire était claire : cette personne aurait parlé au support téléphonique, un gars leur a mis quelques sous par mois, aurait renvoyé le problème au service technique italien qui l'aurait renvoyé aux français un et à un de ses techniciens. . Le technicien aurait probablement constaté que quelque chose n'allait pas et aurait renvoyé le message au support technique italien qu'ils auraient probablement réclamé le manque de données et éventuellement demander un remboursement ou ouvrir un litige.

Litige juridique. En Italie. Déjà là, ce serait drôle, si ce n'était la situation tragique. Au contraire, ça fait pleurer quand on repense à la stipulation d'un contrat et d'un SLA (écrit dans des caractères si minuscules qu'ils devraient être illégaux), dans lesquels la société fournisseur s'indemnise de tout dommage de ce genre et de toute demande d'indemnisation. .

Il aurait été plus facile de gravir l'Everest à mains nues. (D'accord, celui sur la photo n'est pas l'Everest, mais ça donne l'idée).

Le PDG de l'entreprise ne serait même jamais au courant de l'affaire de ce père de famille désespéré d'avoir perdu 5 ans de travail. L'un des nombreux parmi des millions de clients, une goutte de l'océan. Que voulez-vous qu'un problème comme celui-ci soit pour une entreprise qui réalise des centaines et des centaines de millions de revenus par an avec des millions et des millions de clients ? Absolument insignifiant. Malheureusement.

Que pourrions-nous faire?

Rien. Face à cette situation complexe et absolument hors de ma et de notre marge de manœuvre (le fournisseur était un autre, nous ne savions pas quel système de sauvegarde ils utilisaient, quel pouvait être le système de stockage, avoir accès aux supports, et pourquoi cette mauvaise mésaventure avait-elle arrivé), que pourrions-nous faire?

La chose la plus correcte à faire était évidemment de demander une comparaison avec leur support technique pour comprendre s'il y avait une possibilité de récupération, et en attendant de regarder si CASOMAI avait une sauvegarde locale sur votre PC peut-être quelques jours ou quelques mois auparavant.

Le premier conseil n'a donné aucun résultat positif, en fait le support s'est limité à dire qu'il n'y avait aucun fichier à l'intérieur de la sauvegarde qui a été fait correctement de toute façon. Cette affirmation a également été confirmée par leur support technique français de haut niveau après environ deux semaines. qui a simplement liquidé avec un "Il n'y a rien», une situation absolument grotesque et désagréable.

Un peu mieux plutôt pour ce qui concerne le conseil de rechercher une sauvegarde localement, puisqu'en réalité avec beaucoup de dévouement et de fouilles diverses dans les fichiers de son PC, il a pu trouver et restaurer une sauvegarde de quelques mois auparavant, qui bien qu'elle n'était pas la situation optimale pour réparer de tels dommages, cependant, cela a permis à cette personne de se remettre sur les rails et d'éviter la faillite inévitable si ce n'était pas le cas.

Tout est bien ce qui finit bien !

La leçon que nous avons apprise

Leçon de tableau noir

Tout au long de cette mauvaise histoire, notre rôle était absolument spectateur. Absolument hors de propos en bref pour l'issue de l'histoire heureusement résolue sinon dans le meilleur de tous mais certainement pas dans le pire.

Tout cela, cependant, nous a donné l'occasion d'apprendre quelques considérations importantes jusqu'ici sous-estimées. Essentiellement, nous nous sommes posé les questions suivantes :

1. Pourquoi ce qui leur est arrivé ne peut-il pas nous arriver ?

Pourquoi un système de sauvegarde défaillant n'arriverait-il qu'à d'autres hébergeurs et pas à nous ?

Ce serait hypocrite non ? C'est comme dire qu'on pourrait facilement éviter de ne pas porter de ceinture de sécurité lorsqu'on conduit car les accidents n'arrivent qu'aux autres, n'est-ce pas ? Au lieu de cela, la réponse la plus correcte et appropriée au cas est que jusque-là, ce jour d'été mémorable, la seule raison pour laquelle cela ne nous est pas arrivé était le hasard, la chance pure et simple. Bref, le fait qu'un système de sauvegarde par snapshot soit de toute façon très avancé n'a jamais généré de sauvegardes corrompues. Certaine éventualité lointaine, improbable, mais pas impossible comme nous l'avons vu ce jour-là.

2. Combien la perte de données pèse-t-elle sur la vie des gens ?

La perte d'un site Web ou de données peut signifier la fin d'une entreprise. Cela signifie créer un préjudice économique sur la vie des gens, les mettant probablement dans une position de ne pas pouvoir s'offrir des biens de première nécessité. Cela ne peut pas et ne doit pas arriver, du moins cela ne doit pas arriver par notre faute, ni comme cause ni comme cause contributive.

3. Dans quelle mesure la perte de données affecte-t-elle notre entreprise ?

La perte des données d'un client peut très probablement signifier un litige. Peu importe d'avoir tort ou raison ou d'aller voir les contrats pour les différentes indemnités et SLA signés, il y a des obligations légales claires telles que celles imposées par la nouvelle loi européenne GDPR qui nous verraient accusés de diverses omissions et donc condamnés à amendes et dédommagements. . Mieux vaut investir dans la sécurité des données en allouant 10% du chiffre d'affaires sur les systèmes de surveillance, les systèmes RAID, le stockage redondant, les sauvegardes multiples, plutôt que de risquer des tribunaux, des litiges, des indemnisations et des amendes.

Qu'avons-nous fait alors ?

Ayant compris haut et fort les trois points ci-dessus, nous avons « simplement » ajouté un système de sauvegarde secondaire au système de sauvegarde actuel déjà fonctionnel, qui à son tour était redondant sur un système de stockage de données C14 avec une certification de qualité militaire en France.

En bref, si auparavant sur nos systèmes RAID1 nous n'avions qu'une seule sauvegarde qui coulait dans une zone de stockage en RAID5, nous avons aujourd'hui trois sauvegardes avec deux technologies différentes qui convergent vers trois systèmes de stockage RAID5 différents et à son tour l'un d'eux est mis en miroir sur un service de Stockage antinucléaire sécurisé de qualité militaire C14 redondant en France.

Bref, dans ce mode opératoire, un client malheureux qui a besoin de restaurer une sauvegarde peut s'appuyer sur une sauvegarde à distance qui si cela ne fonctionne pas (hypothèse très distante) pourrait s'appuyer sur le deuxième système de sauvegarde, qui à son tour s'il ne fonctionne pas (hypothèse elle-même très éloignée) pourrait s'appuyer sur la mise en miroir Rsync sur un autre stockage.

S'il y avait une attaque majeure (supposons une explosion nucléaire) sur le datacenter, nous aurions tout de même une mise en miroir hebdomadaire sur le stockage anti-atomique C14 en France.

Bref, la possibilité de perdre des données clients a vraiment été réduite à une limite tendant à l'impossible. Plus de ces précautions n'existent actuellement pas à notre connaissance en Italie mais aussi au niveau international, étant donné et constaté que même les très grandes entreprises avec un chiffre d'affaires de plusieurs centaines de millions d'euros continuent à utiliser une seule et unique sauvegarde comme solution définitive pour se protéger .. lui-même et ses clients.

En termes de politiques internes (comme nous l'avons toujours fait), nous avons continué à proposer le service de sauvegarde inclus dans l'offre. Il n'existe pas qu'il puisse s'agir d'un service à valeur ajoutée supplémentaire avec un prix séparé. LESNous proposons une sauvegarde incluse, ce sera notre souci de protéger les clients de la meilleure façon possible, indépendamment de leur optimisme quant au fait que rien n'arrivera jamais à leurs données, ou que cela n'aidera pas.

Bref, à l'épreuve des bombes atomiques !

esplosion

Vous avez des doutes ? Vous ne savez pas par où commencer ? Contactez-nous


Nous avons toutes les réponses à vos questions pour vous aider à faire le bon choix.

Écrivez-nous

Discutez directement avec notre support technique.

0256569681

Appelez-nous immédiatement pendant les heures de bureau de 9h30 à 19h30

Recevoir de l'aide

Ouvrez un ticket directement dans l'espace support.

INFORMATIONS

ManagedServer.it est le premier fournisseur italien de solutions d'hébergement hautes performances. Notre modèle d'abonnement est abordable et prévisible, afin que les clients puissent accéder à nos technologies d'hébergement fiables, à nos serveurs dédiés et au cloud. ManagedServer.it offre également d'excellents services d'assistance et de conseil sur l'hébergement des principaux CMS Open Source tels que WordPress, WooCommerce, Drupal, Prestashop, Magento.

haut