Framstegsoptimisterna fick en rejäl utmaning för en liten tid sedan, då Bill Joy vid Sun Microsystems menade att utvecklingen av nanoteknik, genteknik och artificiell intelligens i värsta fall faktiskt kan leda till mänsklighetens undergång. Det är riktigt att dessa tekniker också kan användas i destruktivt syfte. Även om Joys hotbild är överdriven, är den inte helt orealistisk, men det är däremot hans förslag till lösning: stopp för vidare forskning och kunskapsspridande, under övervakning av en välvillig kontrollmakt. Risken är stor att boten blir värre än soten. Faktum är att det finns andra, tekniska lösningar på problemen, förenliga med ett öppet och dynamiskt samhälle.
(I denna artikel finns understrukna länkar till ytterligare resonemang från Anders Sandberg om detta ämne, för den som vill fördjupa sig i någon viss aspekt.)
Tanken att människan skulle kunna åstadkomma världens undergång dök upp i slutet av 1800-talet. Dessförinnan var tanken helt absurd -- hur kunde människan, detta svaga rö, rå på den mäktiga världen? Att ställa till med domedagen var något bara gudarna kunde göra. Men i framstegsoptimismens tidevarv blev allt fler människor övertygade om att det inte fanns något människan inte kunde göra om hon föresatte sig det -- inklusive att utlösa apokalypsen. Jules Verne lät en av sina romanfigurer spekulera om att en tillräckligt stor ångpanna skulle kunna explodera och ta med sig jorden. Mer övertygande katastrofscenarier utvecklades efter hand.
Vår oro över tekniska katastrofer är till stor del byggd på vår tro på teknikens kraft. Ju mer gudomlig den verkar, desto troligare verkar det att den också har den yttersta gudomliga makten, att kunna förinta världen. I dag lever vi ånyo i en teknikoptimistisk tidsålder, då även många av den nya teknikens fränaste motståndare erkänner dess kraft. Är det då att undra på att nya undergångsvisioner dyker upp?
Bill Joy, en av grundarna av Sun Microsystems och nuvarande chefsforskare där, skrev en uppmärksammad artikel i aprilnumret av tidskriften Wired, där han varnade för de nya tekniska möjligheterna: nanoteknik, bioteknik och robotik. Han argumenterade för att dessa teknologier är under snabb utveckling, att de snart kommer att bli tillämpbara och kommer att föra med sig enorma risker för mänskligheten. De flesta människor är totalt omedvetna av vad som är på väg och riskerar att bli tagna på sängen, när plötsligt alla spelregler ändras och mänskligheten kanske inte är skapelsens krona längre -- eller t o m blir middag åt hungriga nanomaskiner. Det enda sättet att undvika det, menade Joy, var att avstå från att utveckla dessa farliga teknologier och införa kontroller liknande dem som gäller biologiska vapen, för att förhindra att någon frestas att göra det.
Artikeln ledde till starka reaktioner. Debatten rasade på nätet, och teknikentusiaster häcklade honom som "Kill Joy". En paneldebatt på Stanford University, där Joy mötte tunga namn inom artificiell intelligens och nanoteknologi, blev helt fullsatt. Artikelns kanske största värde är att den sätter problemet på agendan: de här teknikerna är under utveckling, de har enorm potential och risker, och vi borde tänka efter noga vad vi gör. Det allmänna intrycket är att de tekniskt insatta, som delvis håller med honom om teknikens möjligheter, inte tar honom på allvar, eftersom de inte håller med om slutsatserna. Övriga medier tar honom inte på allvar, för att allt han talar om låter som science fiction. Det som kan oroa är vilka som verkligen tar honom på allvar. Joy hävdade vältaligt att han inte är luddit, att han verkligen tycker om teknik, men rädslan för nya hot och föreslagna åtgärder spelar lätt utvecklingsfientliga och reaktionära grupper med grumligare ambitioner i händerna.
De tre ryttarna
Joy inledde sin artikel med att beskriva hur förvånad han blev, då han insåg att diverse teknologiska spekulationer han alltid tidigare avfärdat som science fiction, togs på allvar av intelligenta, välinformerade personer som han respekterade. Trots allt, intelligenta datorer och maskiner små som molekyler låter onekligen som ren fantasi. Men om de inte är fantasi längre, eller åtminstone kan bli möjliga i en snar framtid, då bör vi se upp.
De tre teknologier som oroade Joy mest var genteknik, nanoteknik och robotik. De är teknokalypsens tre ryttare. Med genteknik kan farsoter designas, kanske oerhört smittsamma epidemier eller sjukdomar, avsedda att slå ut bara en viss ras -- eller en viss familj. Nanoteknik, byggkonstruktion på atom- och molekylnivå, kan möjliggöra nya, skrämmande vapen och mikroskopiska maskiner, som sprider sig utan kontroll. Robotiken kan leda fram till maskiner, mer intelligenta än människan, och som kanske en dag bestämmer sig för att förverkliga sig själva i stället för att lyda order från sina gamla herrar. Känns hoten igen? Den som läser mycket science fiction gäspar över listan: den är, vid det här laget, en lista över vanliga troper eller rent av klichéer inom genren. Men bara för att dessa teman ältats i romanform, behöver de inte bara vara påhitt längre.
De tekniker som Joy fruktade är på väg. Snabbt. Biotekniken är redan här, nanotekniken, och de åtminstone halvintelligenta robotarna, kan skönjas i de närmsta decenniernas dimmor. Även om bara en av teknikerna utvecklas, blir effekterna enorma; tillsammans kan de få synergieffekter som är stora nog att förändra vårt samhälle i grunden. Var och en av dessa tekniker är fullt i klass med "IT revolutionen" när det gäller att vara omstörtande.
Hur farliga är de?
Jules Vernes ångmaskin kunde naturligtvis aldrig utplåna allt liv på jorden, och senare tiders teknik har knappast heller räckt till. Inte ens världens samlade kärnvapenarsenaler under kalla krigets höjdpunkt skulle förmodligen ha kunnat utplåna hela mänskligheten. Även de mest gruvliga biovapen är behäftade med problemet att det alltid finns resistenta personer eller folk i isolerade bergstrakter. Men bara för att tidigare teknik inte räckt till för att föröda världen, betyder det inte att kommande teknik inte kan göra det.
Med genteknik blir designer-farsoter möjliga. Med nanoteknik kan mikroskopiska vapen, som förökar sig, konstrueras.
Med artificiell intelligens kan vi ställas inför mjukvara som är smartare än oss själva, som har egna mål och moraluppfattningar. Det mest oroande är att sådan potent teknik i framtiden kan hamna i händerna på inte bara stat och militär utan också på privatpersoner -- däribland fanatiker och galningar som Unabombaren. Ny teknik ger mer makt till alla, även extremister, och teknikspridningen verkar gå snabbare och snabbare.
Det som framför allt gör dessa tekniker så farliga är att de har potentialen att föröka sig. En bomb kan bara sprängas en gång, men en bakterie kan bli många och sprida sig utan kontroll. Mycket av oron för genmodifierade livsformer baseras på detta, men med nanoteknik och robotik kommer möjligheten med maskiner som förökar sig. Det är just detta som både gör dem enormt användbara och på samma gång farliga.
Fysikern Freeman Dyson har påpekat att just förökning är universums mest kraftfulla teknik. Genom en minimal första investering -- ett fåtal "frön" -- får man en exponentiellt ökande mängd av saker. Han har diskuterat att sända ut robotsonder till asteroidbältet för att bryta råmaterial, bygga fler sonder och nyttiga varor som sedan kunde skickas tillbaka till jorden.
Liknande idéer har studerats av NASA för att bygga fabriker på månen. Även med en rätt långsam förökningstakt blir det snart tusentals miljoner anläggningar. Ett vapen som förökade sig skulle först verka helt harmlöst. Det skulle växa till sig i det tysta och plötsligt finnas överallt i överväldigande mängder. Ett misstag med något som kan föröka sig skulle leda till ett oerhört mångfaldigande av misstaget. Inte undra på att Joy ryser.
Massförstörelsevapen
En annan faktor är att tjugonde århundradets massförstörelsevapen -- kärnvapen, biologiska och kemiska vapen – alla krävde tillgång till speciella råvaror, hemlig information och stora anläggningar för att framställas. Man kan inte bygga en atombomb utan uran eller plutonium, och genom att kontrollera produktionen och tillgången av dessa kunde man kontrollera vilka som kunde bygga vapen.
Men de nya teknikerna kan tillämpas med små medel. Den forskning och produktutveckling som sker på bioteknologins, nanoteknologins och datorindustrins frontområden är förstås både dyr och kräver stora resurser, men de färdiga resultaten kan användas med mycket mindre medel och kräver förmodligen inte speciella, lättkontrollerade råvaror. När väl tekniken existerar, räcker det med att ha kunskap om den för att kunna använda den. Joy kallar det för "knowledge enabled mass destruction"; det räcker att veta hur, för att nästan vem som helst skall kunna ställa till med en katastrof.
Det kanske viktigaste hotet är, påpekar Joy, att utvecklingen går så snabbt att även om problem är hanterbara, så hinner inte samhällets beslutsprocesser eller den allmänna opinionen uppmärksamma problemet förrän det är över oss. Men det gäller större delen av den nya tekniken, och lösningen är knappast att stoppa tekniken utan att förbättra styrelseskick och debatt.
Överdriver Joy? Delvis, men inte helt. Han har rätt i att de nya tekniker vi närmar oss erbjuder oerhörd makt, potentiellt kanske destruktiv sådan. Han har rätt i att maskiner som kan föröka sig, svårkontrollerad teknikspridning och snabb utveckling leder till en farlig situation. Men han ignorerar mycket av de positiva effekterna, och framför allt avfärdar han alltför lättvindigt konstruktiva lösningar. Om man gör det, blir vilken teknik som helst – från elden till datorn -- ett livsfarligt hot som måste stoppas.
När det gäller risker felbedömer vi människor dem ofta. Vi tenderar att övervärdera risker av stora, men osannolika händelser, vilket lätt leder till förhastade slutsatser. Framför allt oroar vi oss över hot vi inte själva känner att vi kan kontrollera. Fler är flygrädda än bilrädda. Detsamma gäller mycket av Bill Joys oro. Han ser hot som är stora men ser inte något sätt att kontrollera dem på de traditionella teknokratiska sätten och finner dem därmed oöverstigliga.
Vad bör göras?
Eftersom det verkar troligt att dessa tekniker är farliga och på väg, måste man överväga vad vi kan göra åt saken. Helst nu, innan problemen är akuta. Joys förslag är att vi avstår från att utveckla teknik, som riskerar mänsklighetens överlevnad eller självbestämmande. Vid första anblicken verkar det helt logiskt. Men när man börjar fundera på praktiken blir det värre.
I en intervju i tidskriften Salon säger han: "If we want to have all this incredibly powerful technology, we may have to give up some other things. Fundamentally, individuals can't be free to use anything that's that powerful. Therefore, something has to be restricted: their actions, the information itself, the tools to do it." Det är ett oroande yttrande. Antingen så får vi överge vår handlingsfrihet, vår kunskap eller att själva äga kontroll över de högteknologiska verktygen (vilka presumtivt ligger i händerna på "pålitliga" instanser -- vilka de nu är).
1900-talets massförstörelsevapen hade enbart militära tillämpningar, men de nya teknologierna har klara kommersiella användingsområden. Det är den kommersiella sidan som driver på utvecklingen, inte centrala beslut. Vilken politiker skulle säga till IBM och Intel att sluta forska på bättre chips, eftersom samma forskning också leder i riktning mot nanoteknologi?
Den utveckling som leder oss mot de nya teknikerna är bred, kommersiell och oriktad. Nanoteknik håller på att uppstå på hundratals oberoende forskningsfält, varav de flesta inte ens medvetet försöker uppnå det som ett mål. För att stoppa den, måste man stoppa utvecklingen på oerhört många områden till enorma kostnader i ekonomisk vinst och akademisk frihet, och det är fortfarande risk att man missar viktiga områden, helt enkelt för att det inte är uppenbart att de leder i en farlig riktning. Joy gör helt enkelt antagandet att vad som kan utvecklas till något farligt är självklart och uppenbart, men all erfarenhet talar emot det. Om vi visste vad forskning skulle leda till, skulle den inte behövas. Man kan göra bedömningar och gissningar, men de är osäkra och ofta felaktiga.
Om man år 1900 hade tillfrågat låt oss säga Alfred Nobel om vilket forskningsfält han trodde skulle leda till framtidens värsta förstörelsevapen, skulle han utan att tveka ha sagt kemin, vilket han också var eminent expert på. Sprängämnen och stridsgaser skulle ha oroat honom. Han skulle nog helt ha förbisett de märkliga fysiska upptäkterna om radioaktiviteten som skedde under hans tid -- självlysande mineraler och röntgenstrålar verkade harmlösa nog. I efterhand är det mesta uppenbart, men det hjälper oss inte att ställa upp en policy för framtiden.
Även när man vet vad som är riskabelt, är det svårt att skydda sig för hotfull kunskap. Datavirus är ett utmärkt exempel och visar varför Joys tankar inte fungerar i praktiken.
Storebror är din vän
Om det inte går att skydda sig eller få alla att frivilligt avstå, finns det bara en utväg: förbjud! Joy föreslår ett globalt kontrollsystem, i stil med dagens övervakning av biologiska vapen, som skall hålla koll så att ingen frestas att leka med elden. Ett globalt fördrag om att hindra utvecklingen av potentiellt farlig teknik. Det skulle bli ett projekt i en aldrig tidigare sedd skala. För att fungera måste den övervaka inte bara vad olika nationer gjorde, utan företag, organisationer och privatpersoner. Alla privatpersoner. Om man anser att det räcker med en enda galning för att släppa loss Harmagedon, måste alla potentiella galningar övervakas -- man kan inte riskera att missa någon.
Att ropa på ett sådant kontrollsystem innebär att ropet riskerar att locka till sig farliga allierade. Oavsett hur ädelt eller vettigt syftet är, är det ingen tvekan om att det här tilltalar både konservativa, ludditer och andra stasister som här ser en möjlighet att förverkliga sina visioner. Trots allt, när man ändå håller på och skyddar världen från teknologiska hot kan man ju passa på att skydda den mot andra hot också...
Joy tar upp hur USA inlett unilateral nedrustning av biologiska vapen, och hur detta har lett till ett minskande hot. Problemet är att unilateral nedrustning fungerar utmärkt när det gäller dyra vapen som ingen egentligen vill använda -- de är bara en belastning på statsbudgeten, som man behöver för att motståndaren också har dem. Men om det gäller något användbart och lönsamt (även om det är riskabelt) ger man i stället motståndare en fördel genom att börja nedrusta. Skulle USA av försiktighet avstå sitt teknologiska ledarskap till Kina, framför allt på strategiskt viktiga områden som nanoteknik? Knappast.
Ett annat problem är förstås att kontrollsystemet måste inbegripa alla grupper av vikt, ingen får vara utanför, för då riskerar man kapprustning. Hur övertygar man alla stater om att gå med på icke-utvecklingsavtal, som innebär att man avstår från avsevärda ekonomiska, militära och humanitära möjligheter -- inte bara de rika västländerna, utan också en mängd av de länder som just nu håller på att ta sig upp ur fattigdomen med hjälp av ny teknik? Kina kanske vill undvika att hamna i en nanoteknologisk kapprustning med väst, men hur är det med industrialister i Brasilien? Eller en junta i något förbisett u-land? Alla måste vara med, eller tvingas att gå med på programmet. Risken blir att det ses som en fördjupning av nord-syd konflikten, där de redan rika förskansar sin ledande ställning med floskler om mänsklighetens överlevnad.
Censur omöjlig
Problemet är att information är enormt svår att hålla innesluten, och ett skydd som hänger på hemlighet kollapsar i det ögonblick någon, av vilken anledning som helst, publicerar informationen på Internet. Redan i dag finns det bombrecept på Internet; i framtiden kan man tänka sig "the nanarchists cookbook" med recept på nanotekniska förstöreslevapen. Genom system som FreeNet, där avsändare och innehavare av information är helt anonyma, blir censur omöjlig i praktiken. Vad som återstår är att försöka skrämma dem som bryter mot censuren med hårda straff, på samma sätt som musikindustrin i dag alltmer desperat försöker skrämma piratkopierare genom att statuera ett fåtal exempel, där de stämmer för miljardbelopp. Men det verkar inte fungera gentemot vanliga musikdiggande ungdomar, så hur skulle det då göra det mot terrorister?
Det är talande att boten är värre än soten i de science fiction-romaner som berört tanken på globalt samarbete mot farlig ny teknik. Det låter som om Joys globala kontrollsystem skulle bli den perfekta lekstugan för stormaktspolitik, att hindra framväxande ekonomier från att bli konkurrenter, att kontrollera och censurera informationsflöden globalt och allmänt att använda makt "för allas bästa" utan att hållas ansvarig -- ingen kan ju ifrågasätta skyddandet av mänskligheten.
Problemen med Bill Joys vision är uppenbara, och han är intelligent nog att inse dem. Till slut tar han sin tillflykt till den rena utopin, och genom att citera Jacques Attali och Dalai Lama förespråkar han att vi skall bli visare och nöja oss med det vi har.
Men inte ens detta fungerar. Han kräver en etik som alla skall följa. Men vi lever i en mångfasetterad, kreoliserad värld, där det inte går att ena folk om en enda stor tanke; det finns alltid (lyckligtvis) fritänkare och dissidenter. Att hoppas att mänskligheten kollektivt skall växa upp i tid för att undvika alla problem är en from förhoppning, men den har aldrig slagit in hittills. Att dessutom kräva att alla människor utan undantag blir visa skulle nog ha fått även Buddha att skratta gott.
Teknokrati och Dynamism
Felet med Bill Joys "lösningar" är att de är teknokratiska. De kräver välvilliga, perfekta planerare som är kapabla att upptäcka vad som är farligt åratal i förväg, fatta förnuftiga beslut om det och sedan implementera besluten med allmänt stöd. Det krävs att alla tänker lika, alla är eniga. Det är den teknokratiska drömmen, och den har aldrig fungerat i praktiken.
Verkliga lösningar är mer subtila och oordnade och erbjuder inte den förrädiska enkelheten teknokratin utlovar. Virginia Postrel beskriver i Framtiden och dess fiender det fria, dynamistiska sättet att lösa problem genom att prova sig fram med en mångfald lösningar som konkurrerar, som låter bra lösningar blomstra och dåliga gå i konkurs, utan att någonsin fastslå att en viss lösning är den bästa för all framtid. För att kunna hantera farliga teknologier kommer det inte att duga med en patentlösning, som något enstaka geni hittat på; det kommer att behövas många överlappande sätt att hantera dem -- sociala, ekonomiska, vetenskapliga, politiska och filosofiska. Att bara förlita sig på en typ av lösning har nackdelen att vi, om den är fel, riskerar allt, men om vi i stället uppmuntrar framväxten av olika skydd, kommer att ha en oerhört mycket bättre chans. Det finns mycket vettigt vi kan göra i form av tekniska lösningar.
Den teknokratiska kritiken mot sådana här röriga, frihetliga lösningar är: "Men tänk om det inte räcker -- ett enda fel, och vi går alla under!" Om man kan misstänka att det faktiskt finns risk för förödande katastrofer, måste man då inte reducera risken till noll? Men det går aldrig, varken med ett frihetligt, polycentriskt system eller med Joys teknokratiska lösningar. Kostnaden för nollvisioner är oändlig, vare sig de gäller trafiken eller tekniken. Risken finns alltid där, och frågan är i stället vilket system som har bäst chans att hantera den. Globala lösningar fungerar för väldefinierade problem, inte för oväntade och komplexa.
Vi kan inte styra tekniken med centrala beslut om vad som är lämpligt, men den är inte något som bara händer. Teknik utvecklas av människor i samhällen. Vilka värderingar vi och våra samhällen har och vad man medvetet satsar på har stor betydelse för vad som blir utvecklat. Vi kan nog inte realistiskt skapa moratorier för nya tekniker, men vi kan satsa på deras säkra sidor och på tekniker som hjälper oss att bemästra dem. Men vi måste också acceptera att stora förändringar är på väg
Hoten från framväxande, radikala tekniker är ett viktigt problem som är svårt att lösa, men fel lösningar på ett tidigt stadium är en garanti för katastrof. Vi har tid att utarbeta bra infallsvinklar, om vi inte låter oss ryckas med av domedagspredikningarna. Hittills har inga ångpannor utplånat jorden.
