“En aquesta tercera dècada del segle XXI es decidirà, sens dubte, el nostre destí. Aconseguirem encaminar-nos cap a un futur digital millor o ens arrossegarà al pitjor? Continuarà sent un lloc que puguem considerar la nostra llar?”
Shoshana Zuboff (Professora de la Universitat de Harvard)
Preàmbul
La tecnologia pot ser una eina meravellosa per a la humanitat, que ha permès sobrepassar molts obstacles i patiments al llarg dels segles. Tot i això, considerem que el paradigma que predomina avui en el desenvolupament tecnològic no està plenament alineat amb els interessos de la humanitat i és urgent una presa de consciència profunda de la població que porti a prendre mesures polítiques rotundes per reprendre el control. Volem continuar aprofitant els avantatges que la tecnologia ens pot brindar, sense veure’ns obligats a patir algunes de les implicacions més perjudicials que pot comportar, per disseny o manca de regulació.
Una part substancial de la tecnologia digital i de la IA promoguda actualment fomenta un entorn on l’ésser humà és vulnerable i la seva llibertat i integritat podrien estar amenaçades. Aquest corre el risc de veure la seva voluntat condicionada, de no poder prendre decisions de forma autònoma i sense interferències externes, de viure sota un estat de vigilància en què s’exerceixi un control intens sobre la seva vida o de patir una dificultat cada cop més gran per a conèixer la veritat. Si deixem que aquest model es consolidi i s’acabi d’imposar, el món modelat per una part de la tecnologia actual es pot convertir, de manera irreversible, en un on la pròpia humanitat no tingui lloc perquè les lògiques en joc no reconeguin el seu caràcter únic i els seus interessos. Fins i tot podria conduir a la pròpia extinció de la nostra espècie.
El desplegament tecnològic accelerat a què assistim s’està duent a terme sense gairebé control democràtic. Com que els beneficis a curt termini de moltes innovacions tecnològiques solen ser més fàcilment perceptibles que els riscos que comporten, l’adopció precipitada d’aplicacions tecnològiques –ja sigui per part de particulars, professionals, empreses o administracions, institucions educatives, etc.– constitueix una temptació difícilment superable en absència de barreres i protocols clars que n’avaluïn les implicacions i assegurin que respecten els drets fonamentals i no s’oposen a l’interès general.
Davant d’aquest context, rebutgem la visió segons la qual ens trobaríem davant d’un determinisme tecnològic inexorable del que només podríem ser els espectadors. Al contrari, estem convençuts que hem d’actuar per consensuar un model i un marc aplicables per reduir el control tecnològic sobre els humans i en què el desenvolupament tecnològic estigui al servei de la humanitat i no al revés.
EL QUE CONSTATEM: Una evolució preocupant
Amb independència dels avantatges en termes de rapidesa i eficàcia que el desenvolupament tecnològic actual brinda a la humanitat, observem amb preocupació
1. Mentre que augmenta l’asimetria entre l’ésser humà i la tecnologia, aquesta pot ser utilitzada per individus i organitzacions, públiques o privades, per exercir-hi control, amb fins comercials, de seguretat o altres, reduint o aniquilant la pròpia voluntat de l’individu, la capacitat de discerniment i la llibertat.
2. La nostra dependència individual i col·lectiva de les infraestructures digitals constitueix una vulnerabilitat que, a més, pot ser explotada amb fins malintencionats –criminals, terroristes o ideològics– paralitzant, destruint o danyant elements crítics per a la nostra existència.
3. Com més autonomia de la tecnologia, menys control humà. Mentre que fins fa poc temps les màquines eren dirigides en gran mesura per humans, la seva creixent complexitat i autonomia impliquen que la comprensió del seu funcionament tendeixi a escapar fins als seus propis creadors i siguin cada cop més elles les que emetin ordres als humans.
Aquests trets en l’evolució tecnològica ja estan afectant profundament els individus i la societat. Observem, entre d’altres:
Un deteriorament profund tant de la capacitat d’atenció com de la salut mental de la població en general –i més especialment dels joves–, que acompanya un increment del sentiment de soledat i aïllament.
Un desaprenentatge alarmant de certes funcions consubstancials a l’ésser humà (com ara la memòria, l’orientació, el raonament o la capacitat crítica), modificant-ne qualitativament la naturalesa i incrementant la dependència a la tecnologia.
Distorsions demostrades en processos electorals clau a través de campanyes de desinformació alimentades per grans plataformes digitals, encoratjant una forta polarització social i política.
Un augment significatiu del control exercit pels Estats autoritaris sobre els seus súbdits gràcies a un sofisticat entramat de vigilància basat en una recol·lecció cada cop més exhaustiva d’informació personal processada amb l’ajuda de la intel·ligència artificial.
Una tendència també per part dels Estats democràtics a acumular i explotar excessivament dades personals dels ciutadans i vulnerar-ne la privadesa mitjançant, per exemple, l’abús del reconeixement facial.
Una gran concentració al sector tecnològic que ha afavorit que un nombre molt reduït de companyies disposi d’un poder desproporcionat que els permet intensificar la influència que exerceixen sobre la vida dels ciutadans, condicionant-ne els comportaments, les creences i les decisions. Aquestes empreses mantenen una posició dominant també en relació amb altres empreses i, de vegades, els mateixos Estats.
Ciberatacs perpetuats contra infraestructures crítiques –com hospitals o xarxes de distribució elèctrica– que han posat en evidència la vulnerabilitat d’una societat on tots els sistemes essencials estan connectats, així com el fet que els criteris de seguretat no tenen prou prioritat en el disseny i desplegament tecnològics.
Un impacte mediambiental cada cop més important que resulta del desplegament indiscriminat i de la intensificació d’ús de la tecnologia: extracció contaminant de terres rares destinades a la producció de dispositius, creixement exponencial del nombre de satèl·lits, augment de les emissions de gasos amb efecte d’hivernacle d’origen digital, mineria intensiva de criptomonedes, etc.
Aquests fenòmens aparentment dispars estan, en realitat, íntimament relacionats. Són el revers de la relació descontrolada que mantenim amb la tecnologia, i de què desconeixem l’abast del seu veritable potencial.
EL QUE VOLEM EVITAR
Els principis d’una acció
En un entorn on l’existència humana en totes les facetes resulta cada cop més condicionada per la tecnologia, ens resistim a acceptar:
Un món governat per les màquines, en què la tecnologia assoleixi un nivell d’autonomia tan elevat que escapi completament a la comprensió humana i pugui conduir-nos en adreces que no hàgim triat nosaltres.
Quins criteris fundats exclusivament en l’optimització redueixin el perímetre de les activitats humanes de manera que la nostra espècie es vegi no només marginada sinó també desposseïda del que és susceptible de contribuir a la seva realització.
Que estigui autoritzat comercialitzar amb la voluntat i la consciència humanes, fent ús de dades personals i de models predictius que limitin o inhabilitin la capacitat de cadascun de discernir el que desitja i, per tant, debiliti o aniquili la seva llibertat.
Que organismes privats posseeixin en exclusiva tecnologies que els atorguin una posició dominant difícilment reversible i concentrin un poder que els permeti controlar o condicionar una part molt substancial de la vida de les persones.
Que estigui permès discriminar o classificar individus o grups humans i donar-los o denegar-los accés a determinats recursos segons criteris establerts per màquines, basats en l’explotació de dades que no estiguin directament relacionades amb la finalitat per a la qual s’estableix aquesta categorització, conduint a situacions arbitràries o opaques i sense recurs.
Que no es pugui identificar el caràcter artificial d’una màquina, generant confusió entre allò humà i allò no humà. Que es facin servir tecnologies que, per disseny, presentin com a veraços representacions humanes artificials.
Que els Estats utilitzin la tecnologia per exercir un control excessiu i generalitzat sobre els seus ciutadans i en especial, facin abús del reconeixement facial o de tecnologies que no garanteixin l’anonimat a l’espai públic; o s’adjudiquin el dret de traçar moviments, transaccions o qualsevol aspecte de l’activitat humana.
Que es despleguin tecnologies amb una rellevància sistèmica sense les precaucions de seguretat suficients i puguin presentar una vulnerabilitat a gran escala.
Una humanitat cada cop més dual, en què l’aposta d’una part de la població de fusionar-se amb la màquina obligués de facto el conjunt a fer el mateix o bé, condemnés una porció d’aquesta a sotmetre’s a la primera.
Considerem, en definitiva, que hem de garantir un entorn que respecti el caràcter singular de l’ésser humà i minimitzi les possibilitats que la tecnologia sigui emprada per alienar-lo i minvar-ne la llibertat.
EL QUE PROPOSEM
Una crida a les autoritats i ciutadania
Aquest manifest no pretén oposar-se de cap manera al desenvolupament tecnològic com a tal, del qual reconeixem tots els avantatges, sinó interpel·lar les autoritats polítiques i la societat civil sobre el preu que la humanitat està pagant i els riscos que assumeix si segueix acceptant un paradigma de desplegament tecnològic sense discerniment ni control democràtic, i incitar a actuar urgentment per minimitzar aquest cost.
Per preservar la llibertat i la dignitat de les persones com a valors cardinals en un context de creixent asimetria entre la tecnologia i l’ésser humà, les democràcies han de reinventar profundament el seu repertori d’actuacions i defensar amb més força aquests drets. Els esforços d’alguns Estats o Regions, tant en matèria de protecció de dades, com en l’elaboració de cartes o declaracions de protecció dels drets digitals (Carta Espanyola 2021, Declaració Europea 2023 o Carta Iberoamericana del març del 2023), són dignes de elogi, però cal intensificar i canviar d’escala.
Som conscients que això suposa un veritable desafiament per a sistemes polítics que tendeixen a confiar en l’individu per regular qüestions considerades privades. Estem, però, davant de tecnologies que tenen com a efecte col·lateral anul·lar la llibertat individual i afectar el que ens fa humans. També entenem que gran part dels equilibris econòmics i geoestratègics es recolzen en la competitivitat tecnològica, cosa que dissuadeix qualsevol mesura que pugui ser percebuda com una limitació al desenvolupament tecnològic. Per tant, aquest repte existencial exigeix solucions inèdites, més enllà de recomanacions toves.
Sigui quin sigui el nivell d’acció política, un canvi de paradigma només es produirà si es desenvolupa una veritable mobilització ciutadana que exerceixi la pressió necessària per situar aquesta qüestió al capdamunt de l’agenda política. De moment, l’opinió pública és més sensible als avantatges a curt termini del desenvolupament tecnològic que no pas als seus riscos, que sovint es desconeixen. Són necessaris espais de debat i intercanvi parlamentari i de la societat civil que sospesin els riscos-beneficis del paradigma tecnològic imperant i defineixin de manera conjunta els valors que han d’orientar i emmarcar el desenvolupament tecnològic.
Proposem explorar un ampli espectre de mesures per respondre als reptes que enfrontem, entre les quals plantegem considerar:
1. Mesures regulatòries jurídicament vinculants, entre les quals:
La prohibició de la publicitat microfocalitzada.
La protecció constitucional i transnacional dels neurodrets (prohibició d’accedir a la nostra activitat neuronal i recaptar les dades amb la possibilitat d’interferir en la nostra activitat mental).
La promoció de legislació internacional per a la prohibició de les armes letals autònomes.
La persecució d’una “desescalada tecnològica” als camps on la tecnologia tingui un impacte col·lectiu negatiu provat i el seu desplegament impliqui un risc substancial per al conjunt de la població.
Un dret a la desconnexió que garanteixi l’accés a serveis –especialment públics– de manera no digital.
L’obligació de les companyies tecnològiques de brindar accés a les dades que permetin a terceres parts, en el marc de la llei, analitzar el funcionament de les seves plataformes i algorismes de manera autònoma.
L’ampliació de protocols encaminats a validar l’adequació ètica dels algorismes emprats per les empreses i els governs.
2. Mesures lligades a la producció industrial i la comercialització, com:
La reintroducció i la revaloració de la funcionalitat OFF en la concepció d’aplicacions i dispositius tecnològics.
Estrictes procediments reguladors abans de posar determinades tecnologies amb efectes disruptius al mercat, com ja és el cas en sectors com el farmacèutic o l’alimentari.
Mesures de formació, informació i apoderament dels consumidors, inversors i professionals per incrementar les seves exigències d’adequació de la tecnologia amb els seus drets i interessos.
3. Mesures en l’àmbit de la investigació i l’educació, com ara:
Una moratòria a la introducció indiscriminada de la tecnologia a les escoles per sota d’una edat determinada.
Una formació més gran a diferents edats sobre programació i funcionament general dels algorismes per reduir l’asimetria entre la tecnologia i les persones.
Accions sistemàtiques adreçades al col·lectiu de pares, mares i/o tutors/es per conscienciar-los dels riscos a què els joves estan exposats.
La promoció d’estudis aprofundits sobre l’efecte de tecnologies específiques sobre l’individu i la societat, en particular en matèria cognitiva, sobre el comportament, el benestar i la llibertat.
Adequació de l’ús de dispositius a les edats dels usuaris, en particular dels smartphones i altres objectes connectats.
Regular la innovació tecnològica és complex i constitueix, juntament amb la crisi mediambiental, el repte fonamental que afronta la humanitat. La qüestió és massa important per permetre que el debat s’estanqui amb posicions sectàries. La mobilització no es pot demorar tant com en el cas del medi ambient si volem evitar arribar a un punt de difícil tornada. Per això, és urgent un consens perquè es prenguin mesures aviat i prou eficaces per respondre a la magnitud del repte i aprofitar tots els seus avantatges sense haver d’assumir un cost desmesurat com si fos una cosa inevitable.
Fem urgentment el necessari perquè la humanitat prengui les regnes del seu propi destí i n’asseguri la permanència com a espècie lliure.
Font: Manifest OFF, OFFm.org
