Vendredi de merde
2 May 2008 – Depuis deux mois, un client a son serveur qui plante une a deux fois par jour. Des mon premier jour chez Unison on m’a demande de jetter un oeil sur le dossier.
J’ai rapidos conclu qu’il s’agissait d’un souci hardware, le power-supply en l’occurence.
Je contacte HP pour leur demander de remplacer ledit power-supply. Ils viennent sous garantie mais decident de changer une autre piece a la place, c’est un de mes juniors qui est sur place et n’ose pas insister aupres d’HP. 
Je vous passe les details mais en trois semaines tout a ete remplace sauf le power-supply. 
Je reprends le dossier lundi dernier, gueule sur mon junior, gueule sur HP, ils remplacent le power, le serveur est stable, j’avais donc raison, saucisson. 
Aujourd’hui, serveur stable depuis 10 jours, mon boss m’envoie faire une manip sur le serveur, a savoir faire tourner Acronis, prendre une image du srv, monter l’image sur un autre serveur, laisser mijoter un jour ou deux, touiller, si c’est stable, on remplace le serveur par un plus gros, plus puissant, plus mieux 
Reboot du serveur apres qu’Acronis y ait tape ses drivers, bardaf, blue screen. Safe mode, que dalle, console mode, que dalle, repair, que dalle, le serveur est dead. Moralite, Acronis c pas cool 
Je recupere le “nouveau” serveur (il est deja 17h, vendredi, tout va bien ) j’y installe un windows, et tente un restore du System State depuis le backup. Pas de bol, le junior n’a pas verifie et le dernier backup valide date du 21/04… Youpee.
Pas le choix, je restore, il est 20h, le serveur est online
Me reste a faire : restore data, restore Exchange, restore permissions, hope for the best.
Soiree foutue, lundi y en a un qui va passer un sale quart d’heure
PS : je me plains mais en fait c la partie du boulot que je prefere, tout est pete, le client pleure, il est au bord du suicide, j’arrive, je repars, tout fonctionne .
RSS - Posts
Moutatisse moutandisse : hier le voisin du rez-de-chaussée m’appelle, catastrophé. Devait faire d’urgence quelques transactions bancaires et son ADSL était en rideau. Diagnostic rapide : la prise du modem était débranchée (l’aspirateur et la femme de ménage étaient passés par là)… On fait figure de sorcier à peu de frais, hein ?
PS : Acronis c’est un système de back-up non ? Rigolo…
Systeme de backup oui, ca prend des “cliches” instantannes de ton disque, drivers compris. Mais pour ca, le soft installe ses drivers a lui dans la registry, quand on fait ca sur un disque sain apparemment pas de problemes, sur un raid array bancal, ca foire.
Resultat, on est samedi, j’ai un demi litre de cafe noir a cote de moi et je tente par tous les moyens de recuperer 10jours de travail de 60 personnes. Si ca passe pas, on perd le client et entamment les procedures judiciaires, tout va bien madame la marquise
This is FUBAR
Samedi midi, toujours impossible de recuperer les donnees, raid array corrupt, disk failure, etc etc. J’embarque le serveur et vais le dropper chew Nava, une nana qui a une boite specialisee dans les scenarios catastrophes de recup de donnees, un peu comme Ontrack quoi, mais en local
Pof pof presentations, mazeltov elle est juive, veut tout de suite savoir d’ou je viens, ah sprache sie Deutch ? nein, ich spreche Französisch und Niederländisch und euh ah ja, Englisch
Veut savoir si suis marie, enfants toussa, euh non t gentille occupe toi de mon serveur plutot
Bref je lui laisse le bebe et m’en vais chew Ikea.
Lundi matin, direction le client, il a son serveur, il lui manque juste 10 jours, ca va l’ambiance est tendue mais souriante….saurai demain midi si Nava a pu sauver kekchose.
Lundi 16h…coup de fil, bardaf c’est l’embardee, the server crapped itself…
FUUUUUUUUUUUUUUUCK
Bon, ben plan B, j’attends que le client dise oui :
Backup data, format, reinstall. Total : deux jours et deux nuits, c’est jouable…si je commence un vendredi a 16h le lundi matin ils sont online. le junior s’occupera des PC pendant que je bois du cafe et m’occupe du serveur, enfin DES serveurs parce qu’on va jouer en failover sur deux machines. Youpee.
Je sens que je vais avoir PLEIN de jours de recup tiens
Pis des nuits aussi…
Un serveur vraiment stable, ça n’existe pas là-bas ? Reliable Server Pooling, ils connaissent ?
Ben si bien sur, en 13 ans j’ai jamais vu ca non plus
En gros, le client etait couvert par une societe IT X, on a herite du parc y a 6 mois.
Le serveur a ete installe par X, bien ou mal j’en sais rien, mais c’est pas moi qui l’ai installe donc je ne jurerais pas de sa stabilite (sans me vanter, mais je ne faic confiance qu’a moi meme pour ce genre de trucs). Bref.
Probl hardware qui ont fait sauter le soft, ou vive-versa, toujours et-il que ca merdoie sec.
Pour etre sur de moi, format reinstall, comme ca, je sais ou je mets les pieds.
Cette fois je ne fais confiance qu’a moi meme, j’ai toujours dit que si je voulais un job bien fait j’avais qu’a le faire moi meme.
Marre de ce serveur qui reboot sans raison, cette fois on ne peut pas incriminer le hardware puisque le serveur a ete remplace. Les crash precedents ont certainement nique Windows.
Ce soir, vendredi, je backup, je format et je reinstall. Je prevois de finir ce soir la premiere phase vers 1h du mat, rentrer dodo, revenir demain vers 8h et finir demain minuit.
Trois juniors, enfin deux juniors plus Ian (le boss #2) viendront s’occuper des workstations a partir de midi.
Je sens que ca va encore etre un looooooong WE.
PS : rebolotte le WE prochain chez un autre client
PS2 : a ceux qui s’ecrient m’enfin pourquoi tu bosses le WE, je reponds que certaines operations sur le serveur ne peuvent se faire pendant les heures de bureau puisque sinon je bloquerais toute la societe, donc mieux vaut bloquer un pignouf et le payer double pendant 1 jour que bloquer 40 personnes et les payer a rien foutre pendant un jour, CQFD.
J’accumule les jours de recup moi vais m’offrir des belles vacances
Une sorte du “bug du vendredi” ? Un malware spécialement conçu pour foutre tes ouiquindes en l’air ?
Proverbe californien : “Quand l’industrie informatique aura atteint le même degré de maturité que l’industrie automobile, il y aura beaucoup de chômage dans les sociétés de service”. En attendant, il faut en profiter…
Putain ca doit etre un film c’est pas possible.
But de l’operation : backup du serveur de prod, restore sur serveur de location pour avoir un plan B, verif des data, si OK format reinstall du serveur de Prod.
Vendredi :
18h00 : je commence le backup du serveur de prod sur tape
20h00 : backup termine
20h15 : impossible de restaurer le backup depuis la tape, pas compatible avec le serveur de location
20h30 : je recommence le backup du serveur de prod sur disque USB cette fois.
01h00 : backup toujours en cours, je rentre chez moi. En attendant j’ai defragmente la database exchange d’un autre client, celui la est passe comme une lettre a la poste, y a une justice.
Samedi :
08h00 : debut du restore sur le backup de location
09h00 : le serveur de location se coupe, il est installe avec Win2003 SBS mais non promu domain controller donc il s’eteint apres 60min tout pile
09h15 : format reinstall du serveur avec une version Std de windows
12h00 : serveur pret, service packs appliques, debut du restore
18h00 : a peine 20% du restore effectues, je coupe le restore, explose le boitier du disque USB, branche le disque en direct, je recommence le restore 9taaux de transfert pourri en USB)
20h00 : je rentre chez moi, y en a encore pour quelques heures
En attendant le boulot sur les workstations est retarde de 24h youpee.
Dimanche :
08h00 : serveur de location “devenu” serveur de prod, restore successful.
09h00 : fin des tests, j’appelle le client qui doit valider avant que je puisse commencer le vrai boulot (la j’ai simplement fini le plan B)
09h00 : il est en vadrouille
09h30 : il m’appelle, est pret a tester, ah super, il a pas l’ADSL mais un Dialup pourri, ca va prendre des plombles
10h00 : restore valide, je peux ENFIN avec 36h de retard commencer mon boulot
TOUT ce qui aurait pu foirer a effectivement foire… me demande si je suis pas maudit, le serveur de prod est en train d’etre installe, je m’attends au pire, genre une panne de courant ou un avion qui s’ecrase ou un meteorite, je suis extenue, j’ai a peine dormi, a peine mange, je me nourris de cafe fort, vive l’informatique…
Condoléances…
À lire absolument : http://www.courtois.cc/murphy/murphy_informatique.html
Tiens, je t’ai trouvé un fond d’écran sympa :
PTDRRRRR !!!! Excellentissime
