De website van Twitter breekt op nieuwe manieren – en hoewel het bedrijf erin slaagde om binnen een paar uur te herstellen van de laatste storing, suggereert het verhaal achter hoe het kapot ging dat er zich in de nabije toekomst waarschijnlijk soortgelijke problemen zullen voordoen.
Op maandagochtend logden Twitter-gebruikers in om een bosje gerelateerde problemen te vinden. Door op links te klikken, werden ze niet langer geopend; in plaats daarvan zouden gebruikers een mysterieuze foutmelding zien die meldt dat “uw huidige API-plan geen toegang tot dit eindpunt omvat”. Afbeeldingen stopten ook met laden. Andere gebruikers meldden dat ze geen toegang hadden tot TweetDeck, de Twitter-client voor professionele gebruikers.
Chaos nam de tijdlijn over, terwijl gebruikers luid tweeten over de storing – vaak hun punten illustrerend met afbeeldingen die niemand kon zien omdat ze niet wilden laden.
In een tweet bood het bedrijf de meest vage verklaringen voor wat er gebeurde.
“Sommige delen van Twitter werken op dit moment mogelijk niet zoals verwacht”, tweette het ondersteuningsaccount van het bedrijf. “We hebben een interne wijziging aangebracht die enkele onbedoelde gevolgen had.”
De wijziging in kwestie was onderdeel van een project om gratis toegang tot de Twitter API af te sluiten, Platformspel kan nu bevestigen. Op 1 februari kondigde het bedrijf aan dat het niet langer gratis toegang tot zijn API zal ondersteunen, waardoor het bestaan van externe klanten en beperkte het vermogen van externe onderzoekers om het netwerk te bestuderen drastisch. Het bedrijf heeft een nieuwe betaalde API gebouwd waarmee ontwikkelaars kunnen werken.
Maar om te laten zien hoe diep de bezuinigingen van Elon Musk op het bedrijf zijn geweest, is ons verteld dat er slechts één site-reliability-engineer aan het project is toegevoegd. Maandag voerde de ingenieur een “slechte configuratiewijziging” door die “in feite de Twitter API kapot maakte”, aldus een huidige medewerker.
De verandering had trapsgewijze gevolgen binnen het bedrijf, waardoor veel van de interne tools van Twitter, samen met de openbare API’s, werden uitgeschakeld. Op Slack reageerden ingenieurs met variaties van “onzin” en “Twitter is down – het hele ding” terwijl ze zich haastten om het probleem op te lossen.
Musk was woedend, zo wordt ons verteld.
“Een kleine wijziging in de API had enorme gevolgen”, zei Musk tweette later op de dag, nadat Twitter-investeerder Marc Andreessen een screenshot plaatste waaruit bleek dat de API-storingen van het bedrijf trending waren op de site. “De codestack is zonder goede reden extreem broos. Zal uiteindelijk een volledige herschrijving nodig hebben.
Sommige huidige werknemers staan sympathiek tegenover die mening, die in ieder geval een deel van de schuld voor de problemen van Twitter legt bij technische storingen die dateren van vóór Musks eigendom van het bedrijf. De mislukken walvis werd niet voor niets een icoon van het oude Twitter.
“Er is zoveel technische schuld van Twitter 1.0 dat als je nu iets verandert, alles kapot gaat”, zegt een huidige medewerker.
Maar toen Musk het bedrijf overnam, beloofde hij de snelheid en stabiliteit van de site drastisch te verbeteren. Zijn medewerkers screenden het bestaande personeel op hun technische bekwaamheid, waardoor uiteindelijk duizenden arbeiders werden geschrapt die niet “technisch” genoeg werden geacht om te slagen onder leiding van Musk.
Maar door non-stop ontslagen heeft het bedrijf minder dan 550 fulltime ingenieurs, zo wordt ons verteld. En zoals voormalige werknemers vanaf het begin hebben voorspeld, hebben de verliezen Twitter steeds kwetsbaarder gemaakt voor catastrofale storingen.
De foutieve configuratiewijziging van maandag was op zijn minst de zesde spraakmakende servicestoring op Twitter dit jaar:
- Op 23 januari, Android-gebruikers konden tijdelijk geen nieuwe tweets laden of plaatsen.
- Op 8 februari vertelde een foutmelding gebruikers dat ze “de dagelijkse limiet voor het verzenden van tweets hadden overschreden”, waardoor ze niet konden posten.
- Op 15 februari stopten tweets met laden.
- Op 18 februari, de tijdlijn brak en antwoorden verdwenen.
- Op 1 maart stopte de tijdlijn met werken.
“Dit soort storingen komt zo vaak voor dat ik denk dat we er allemaal gevoelloos voor zijn”, zegt een huidige medewerker.
En dat zijn alleen nog maar de servicestoringen. Andere problemen, zoals die leidde ertoe dat de tweets van Musk beter zichtbaar werden op de tijdlijn dan die van welke andere gebruiker dan ookhebben ook het gebruikersbestand opgeschud.
In veel opzichten vertegenwoordigde de storing van maandag het hoogtepunt van Musks leiderschap bij het bedrijf tot nu toe. In een vastberaden poging om kosten te besparen op zijn aankoop van $ 44 miljard, heeft hij het personeelsbestand verlaagd en het gratis aanbod van Twitter verminderd.
Dit maakte de weg vrij voor een enkele ingenieur die op een groot project kon worden ingezet – een project dat is gekoppeld aan verschillende kritieke onderling verbonden systemen waar zowel gebruikers als werknemers van afhankelijk zijn.
En met weinig deskundige medewerkers om de service te herstellen, kostte het Twitter de hele ochtend om het probleem op te lossen. “Dit is wat er gebeurt als je 90 procent van het bedrijf ontslaat”, zegt een andere huidige medewerker.
Binnen het hoofdkantoor van Twitter was de stemming echter bijna luchtig. “We lachen ons kapot”, zegt een andere huidige medewerker.
