Certi programmi, senza controllo, sono più pericolosi delle armi nucleari

NEW YORK, 12 MARZO - Un'apocalittica profezia scuote Internet: le nuove tecnologie informatiche rischiano di portare l'umanità all'estinzione nello spazio di due generazioni.

NUOVE TECNOLOGIE POSSONO PORTARE AllA DISTRUZIONE DELL'UMANITA'

"Ho sempre pensato che facendo software sempre piu' affidabile, avremmo creato un mondo piu' sicuro e che se fossi arrivato a pensare il contrario, avrei avuto l'obbligo morale di fermare questo lavoro.

La tesi principale di Joy è che se tutto il secolo passato ha prodotto molte tecnologie pericolose, oggi il fatto nuovo è che alcuni filoni di ricerca hanno caratteristiche di propagazione e di autoriproducibilità prima impensabili. Farsi in casa una bomba atomica non è impossibile, ma è comunque complicato, mentre robot intelligenti, nanomacchine e biotecnologie, sono per loro natura oggetti che si riproducono e si autopropagano e anche se non nascono come armi possono divenirlo.

http://www.diesis.it/editoria/n105/page4.htm

NUOVE TECNOLOGIE POSSONO PORTARE A DISTRUZIONE UMANITA'

Bladerunner e' gia' qui. In un prossimo futuro le nuove tecnologie informatiche rischiano di portare all'estinzione l'umanita'. La pessimistica previsione e' di Bill Joy, co-fondatore di Sun Microsystems, che in un lungo articolo sulla rivista "Wired" ha espresso i suoi timori per il futuro.

"Ho sempre pensato che facendo software sempre piu' affidabile, avremmo creato un mondo piu' sicuro e che se fossi arrivato a pensare il contrario, avrei avuto l'obbligo morale di fermare questo lavoro.

Ora posso immaginare che questo momento verra'". Secondo Joy entro 30 anni robotica, ingegneria genetica e nanotecnologia potrebbero cambiare completamente il disegno del mondo, nel bene o nel male. Gli scienziati, i programmatori devono iniziare a porsi un problema etico.

"Dato che queste nuove tecnologie avranno un potere enorme" ha detto Joy "non dovremmo chiederci come possiamo conviverci? E se la nostra estinzione puo' essere il risultato del nostro sviluppo tecnologico, non dovremmo procedere con grande cautela?".

http://www.rett.unict.it/stampa/Ra2000/Mar/Ra000314/stampa/cor1.htm

Contrordine scienziati, la tecnologia non ci salverà

Bill Joy (Sun Microsystems): certi programmi, senza controllo, sono più pericolosi delle armi nucleari

«Quello che mi interessa è creare delle dislocations tecnologiche» disse una volta Bill Joy, ricercatore capo della casa di computer Sun Microsystems.

E non c'è dubbio che il suo articolo di 24 pagine, appena pubblicato sul numero di aprile del mensile Wired, stia già creando vistose «discontinuità» e «spiazzamenti». Lui, che negli anni '70 fu tra gli artefici del sistema operativo Unix all'università di Berkeley, che poi disegnò alcune delle specifiche del linguaggio C, nonché l'architettura dei microprocessori Sparc della Sun, ci ha pensato per sei mesi e poi ha emesso questo saggio che è una sorta di manifesto. Si intitola «Perché il futuro non ha bisogno di noi» e mette in guardia da quelle che tutti annunciano come le imminenti tecniche di grande successo: robot intelligenti, nanotecnologie e manipolazioni genetiche. Non solo: invita colleghi e ricercatori a rinunciare consapevolmente a sviluppare alcuni dei filoni potenzialmente più pericolosi, con un gesto di responsabilità individuale e sociale.

Di per sé sembrerebbero posizioni già sentite. Ma non è così: quello che fa scandalo è il fatto che queste critiche severe non vengano da un avversario delle tecnologie, magari conservatore e passatista, ma proprio da uno che quelle invenzioni ha realizzato nel suo lavoro di tutti i giorni. Ancora di recente, del resto, all'incontro mondiale di Davos, Bill Joy si aggirava per i corridoi e delineava a cronisti e osservatori un futuro sostanzialmente ottimista. Come è del resto nel suo carattere e nel suo fisico: riccioli scomposti, parlata a raffica, determinazione e sorriso. È ricco quanto basta per vivere libero: con relativa disinvoltura, infatti, vendette le sue azioni della Sun Microsystem, che aveva contribuito a fondare - ne aveva 10 milioni. E quando l'ambiente della Silicon Valley cominciò a apparirgli troppo nevrotico, si comprò casa ad Aspen in Colorado, ottenendo dalla stessa Sun di aprire un piccolo laboratorio anche tra le Montagne Rocciose. Un po' lassù, un po' in un capanno sul lago Tahoe, è nato Java, l'unica vera innovazione prodotta dagli informatici negli ultimi anni. Si chiama come una famosa qualità di caffè ed è una sorta di linguaggio universale che diverse macchine virtuali possono interpretare ed eseguire. Ottimo per l'Internet, dunque, e pessimo per l'altro Bill (Gates), dato che mina alle radici ogni standard proprietario. Dunque da almeno 20 anni Joy è un protagonista dell'innovazione più spinta, quella che va terremotando modi di business, di relazione e di comunicazione. E proprio lui ora lancia l'allarme, osando persino dire una cosa assai impopolare: che Unabomber, il delinquente assassino, aveva qualche elemento valido nel suo argomentare anti-tecnologico.

La tesi principale di Joy è che se tutto il secolo passato ha prodotto molte tecnologie pericolose, oggi il fatto nuovo è che alcuni filoni di ricerca hanno caratteristiche di propagazione e di autoriproducibilità prima impensabili. Farsi in casa una bomba atomica non è impossibile, ma è comunque complicato, mentre robot intelligenti, nanomacchine e biotecnologie, sono per loro natura oggetti che si riproducono e si autopropagano e anche se non nascono come armi possono divenirlo. Qui sta il salto verso il «fuori controllo» degli esseri mutanti, più insidiosi della distruzione nucleare, perché più nascosti. Paradossalmente - sostiene Joy - le armi più letali e minacciose sono relativamente sicure finché restano nelle mani dei militari, mentre oggi per realizzare tali agenti virali «non occorrono grandi impianti o materiali rari. Basta la pura conoscenza».

E allora? Com'è ovvio Joy non ha la soluzione, ma indica un percorso anche personale e sollecita a riflettere: «Ho sempre pensato che fare del software più affidabile avrebbe reso il mondo un po' più sicuro e sano. Se ritenessi che questo non è più vero, mi sentirei moralmente obbligato a fermarmi. Ora posso immaginare che quel giorno potrebbe arrivare». Anche il software, insomma, ha a che fare con la sopravvivenza dell'umanità. Per puro caso questo invito a una moratoria eventuale arriva nell'anniversario della famosa conferenza di Asilomar, che si tenne nel febbraio 1975 e che alcuni dei protagonisti di allora hanno voluto ricordare nelle settimane scorse, con un secondo incontro californiano. C'erano tra gli altri Paul Berg e David Baltimore, grandi specialisti di biologia molecolare, e il loro è stato un bilancio storico, oltre che un appuntamento tra vecchi amici. Asilomar venne immaginata quando gli scienziati del gene si resero conto di quale potenziale rivoluzione avessero sotto le mani e di come essa comportasse gravi rischi, oltre che grandi potenzialità. Allora si riunirono in 55, faccia a faccia, e proposero delle linee guida per il proprio lavoro di ricerca, comprese alcune restrizioni: decisero per esempio di non spingere fino in fondo alcune tecnologie del Dna ricombinante, finché non si fosse certi della sua sicurezza. Oggi è tutto molto diverso, ma il manifesto di Bill Joy porta con sé lo stesso richiamo alla responsabilità dei ricercatori ed è anzi molto severo con i colleghi che rinunciano al loro ruolo di intellettuali critici: un'altra rottura con il senso comune, un'altra utile «dislocazione».

Franco Carlini

http://www.wired.com/wired/archive/8.04/joy.html

Why the future doesn't need us

By Bill Joy

Our most powerful 21st-century technologies - robotics, genetic engineering, and nanotech - are threatening to make humans an endangered species.

From the moment I became involved in the creation of new technologies, their ethical dimensions have concerned me, but it was only in the autumn of 1998 that I became anxiously aware of how great are the dangers facing us in the 21st century. I can date the onset of my unease to the day I met Ray Kurzweil, the deservedly famous inventor of the first reading machine for the blind and many other amazing things. Ray and I were both speakers at George Gilder's Telecosm conference, and I encountered him by chance in the bar of the hotel after both our sessions were over. I was sitting with John Searle, a Berkeley philosopher who studies consciousness. While we were talking, Ray approached and a conversation began, the subject of which haunts me to this day. I had missed Ray's talk and the subsequent panel that Ray and John had been on, and they now picked right up where they'd left off, with Ray saying that the rate of improvement of technology was going to accelerate and that we were going to become robots or fuse with robots or something like that, and John countering that this couldn't happen, because the robots couldn't be conscious.

While I had heard such talk before, I had always felt sentient robots were in the realm of science fiction. But now, from someone I respected, I was hearing a strong argument that they were a near-term possibility. I was taken aback, especially given Ray's proven ability to imagine and create the future. I already knew that new technologies like genetic engineering and nanotechnology were giving us the power to remake the world, but a realistic and imminent scenario for intelligent robots surprised me.

It's easy to get jaded about such breakthroughs. We hear in the news almost every day of some kind of technological or scientific advance. Yet this was no ordinary prediction. In the hotel bar, Ray gave me a partial preprint of his then-forthcoming bookThe Age of Spiritual Machines, which outlined a utopia he foresaw - one in which humans gained near immortality by becoming one with robotic technology. On reading it, my sense of unease only intensified; I felt sure he had to be understating the dangers, understating the probability of a bad outcome along this path.

I found myself most troubled by a passage detailing adystopian scenario:

THE NEW LUDDITE CHALLENGE

First let us postulate that the computer scientists succeed in developing intelligent machines that can do all things better than human beings can do them.

In that case presumably all work will be done by vast, highly organized systems of machines and no human effort will be necessary. Either of two cases might occur. The machines might be permitted to make all of their own decisions without human oversight, or else human control over the machines might be retained.

If the machines are permitted to make all their own decisions, we can't make any conjectures as to the results, because it is impossible to guess how such machines might behave. We only point out that the fate of the human race would be at the mercy of the machines. It might be argued that the human race would never be foolish enough to hand over all the power to the machines. But we are suggesting neither that the human race would voluntarily turn power over to the machines nor that the machines would willfully seize power. What we do suggest is that the human race might easily permit itself to drift into a position of such dependence on the machines that it would have no practical choice but to accept all of the machines' decisions. As society and the problems that face it become more and more complex and machines become more and more intelligent, people will let machines make more of their decisions for them, simply because machine-made decisions will bring better results than man-made ones. Eventually a stage may be reached at which the decisions necessary to keep the system running will be so complex that human beings will be incapable of making them intelligently. At that stage the machines will be in effective control. People won't be able to just turn the machines off, because they will be so dependent on them that turning them off would amount to suicide.

On the other hand it is possible that human control over the machines may be retained. In that case the average man may have control over certain private machines of his own, such as his car or his personal computer, but control over large systems of machines will be in the hands of a tiny elite - just as it is today, but with two differences. Due to improved techniques the elite will have greater control over the masses; and because human work will no longer be necessary the masses will be superfluous, a useless burden on the system. If the elite is ruthless they may simply decide to exterminate the mass of humanity. If they are humane they may use propaganda or other psychological or biological techniques to reduce the birth rate until the mass of humanity becomes extinct, leaving the world to the elite. Or, if the elite consists of soft-hearted liberals, they may decide to play the role of good shepherds to the rest of the human race.

They will see to it that everyone's physical needs are satisfied, that all children are raised under psychologically hygienic conditions, that everyone has a wholesome hobby to keep him busy, and that anyone who may become dissatisfied undergoes "treatment" to cure his "problem." Of course, life will be so purposeless that people will have to be biologically or psychologically engineered either to remove their need for the power process or make them "sublimate" their drive for power into some harmless hobby. These engineered human beings may be happy in such a society, but they will most certainly not be free. They will have been reduced to the status of domestic animals.1

 1 The passage Kurzweil quotes is from Kaczynski's Unabomber Manifesto, which was published jointly, under duress, byThe New York Times and The Washington Post to attempt to bring his campaign of terror to an end. I agree with David Gelernter, who said about their decision: "It was a tough call for the newspapers. To say yes would be giving in to terrorism, and for all they knew he was lying anyway. On the other hand, to say yes might stop the killing. There was also a chance that someone would read the tract and get a hunch about the author; and that is exactly what happened. The suspect's brother read it, and it rang a bell.

"I would have told them not to publish. I'm glad they didn't ask me. I guess."

In the book, you don't discover until you turn the page that the author of this passage is Theodore Kaczynski - the Unabomber. I am no apologist for Kaczynski. His bombs killed three people during a 17-year terror campaign and wounded many others. One of his bombs gravely injured my friend David Gelernter, one of the most brilliant and visionary computer scientists of our time. Like many of my colleagues, I felt that I could easily have been the Unabomber's next target.

Kaczynski's actions were murderous and, in my view, criminally insane. He is clearly a Luddite, but simply saying this does not dismiss his argument; as difficult as it is for me to acknowledge, I saw some merit in the reasoning in this single passage. I felt compelled to confront it.

Kaczynski's dystopian vision describes unintended consequences, a well-known problem with the design and use of technology, and one that is clearly related to Murphy's law - "Anything that can go wrong, will." (Actually, this is Finagle's law, which in itself shows that Finagle was right.) Our overuse of antibiotics has led to what may be the biggest such problem so far: the emergence of antibiotic-resistant and much more dangerous bacteria.

Similar things happened when attempts to eliminate malarial mosquitoes using DDT caused them to acquire DDT resistance; malarial parasites likewise acquired multi-drug-resistant genes.2 http://www.sun.com/aboutsun/media/ceo/mgt_joy.html

Bill Joy

Chief Scientist and Corporate Executive Officer

Bill Joy, 44, Chief Scientist of Sun Microsystems, Inc., is a co-founder of the company and a member of the Executive Committee.

Bill received a B.S.E.E. in Electrical Engineering from the University of Michigan in 1975, after which he attended graduate school at U.C. Berkeley where he was the principal designer of Berkeley UNIX (BSD) and received a M.S. in Electrical Engineering and Computer Science. The Berkeley version of UNIX became the standard in education and research, garnering development support from DARPA, and was notable for introducing virtual memory and internetworking using TCP/IP to UNIX. BSD was widely distributed in source form so that others could learn from it and improve it; this style of software distribution has now led to the "open source" movement, of which BSD is now recognized to be one of the earliest examples.

For his work on Berkeley UNIX, Bill received the ACM Grace Murray Hopper Award which is given for outstanding work in Computer Science done when the recipient is under the age of thirty. In 1993, Joy was given the Lifetime Achievement Award of the USENIX Association, "For profound intellectual achievement and unparalleled services to the UNIX community."

Since joining Sun from Berkeley in 1982, he has led Sun's technical strategy, spearheading its open systems philosophy. He designed Sun's Network File System (NFS), and was a co-designer of the SPARC microprocessor Architecture. In 1991 he did the basic pipeline design of UltraSparc-I and its multimedia processing features. This basic pipeline is the one used in all of Sun's SPARC microprocessors shipping today.

More recently, Bill has led design investigations of architectures for UltraSparc V, driven the initial business and technical strategy for Java, co-designed the picoJava and ultraJava processor architectures, co-authored the specification for the Java Programming Language, and co-designed the lexical scoping and reflection APIs for Java version 1.1.

Bill's most recent work is on the Jini distributed computing technology for networking computer devices using Java, and on the Sun Community Source Licensing (SCSL) model, designed to allow companies to share their intellectual property in source form, to facilitate cooperation with customers, partners, educators and researchers. Further information on the SCSL is available at http://www.sun.com/jini.

In 1997, Joy was appointed by President Clinton as Co-Chairman of the Presidential Information Technology Advisory Committee. The Advisory Committee is providing guidance and advice on all areas of high-performance computing, communications and information technologies to accelerate development and adoption of information technologies that will be vital for American prosperity in the twenty-first century. The report of the committee is available at http://www.hpcc.gov/ac.

Bill was appointed as Chief Scientist of Sun in 1998. His current research is into new uses of distributed computing enabled using Java and Jini, new methods of human-computer interaction, new microprocessor and system architectures, and the uses in computing of scientific advances in areas such as complex adaptive systems, quantum computing, and the cognitive sciences.

Bill is the co-recipient, with Andy Bechtolsheim also a co-founder of Sun and now a VP at Cisco systems, of the Computerworld Smithsonian award for Innovation in 1999. Bill is a member of the National Academy of Engineering and a fellow of the American Academy of Arts and Sciences.

http://www.hpcc.gov/ac/

President's Information Technology Advisory Committee

_________________________________________________________________________________________________

da interlinea

http://www.edscuola.com/archivio/latouche2.html

....................................Cosa accadrà se non adeguiamo le tecniche pedagogiche alla necessità di erigere una diga contro il flusso estraniante della globalizzazione? Come porsi,preventivamente ai ripari da un superamento della relazione umana, decontestualizzata fino alle estreme conseguenze dalla telematica? Quale tipo dimaterialismo virtuale sta invadendo la mente sottraendo al cuore i suoi prodigi: i nostri sentimenti, le nostre emozioni?

nadia scardeoni, settembre 1995