“Es jubilen un milió de funcionaris i cal repensar l’administració”

Hi ha una onada de jubilacions al sector públic per un tema demogràfic i, alhora, també hi ha càlculs de quin nombre de llocs de treball es podrien arribar a automatitzar amb sistemes diversos que poden incloure intel·ligència artificial, i el nombre és d’un milió. El càlcul que es fa sobre automatització és per al 2030. A l’hora de pensar el model d’administració pública del futur cal tenir en compte els dos factors.

La jubilació massiva d’empleats del sector públic dona lloc a una oportunitat de repensar quina administració teníem fins ara i quina volem els propers anys en el context de canvi tecnològic accelerat en què tenim a la nostra disposició una sèrie de tecnologies que podrien facilitar una administració pública millor. Una administració que presti millors serveis públics i faci eficaç el dret a una bona administració dels ciutadans. La gràcia serà conjugar jubilacions i tecnologies per fer una barreja virtuosa i aconseguir una administració pública millor. Hi ha moltes possibilitats de millora i riscos que cal valorar.

Són diversos i afecten els mateixos drets dels ciutadans. Drets com la protecció de dades o la igualtat, que es pot veure compromesa pels biaixos dels sistemes d’IAl. De fet, si mirem arreu del món, en algunes administracions que han entrat decididament en l’automatització amb sistemes d’IA s’han produït casos sonats que han generat molt mala administració. El cas de Robodebt a Austràlia, un programa de seguretat social i reclamació de quantitat als ciutadans que no havien rebut la quantitat i ha generat litigis. Un altre cas sonat i que té una sèrie de televisió que recomano és el del senyor Bates contra el servei postal anglès. Un programa va generar una sèrie d’errors a les oficines de correus de la Gran Bretanya, els van imputar als gerents de les oficines i això va suposar un autèntic martiri, amb acomiadaments, litigis i suïcidis, per després descobrir que el problema no havia estat dels humans sinó dels sistemes. Fins i tot a Espanya tenim un cas que està pendent de resolució al Tribunal Suprem, que és l’anomenat cas Bosco, un sistema d’IA senzill que tradueix la legislació d’energia espanyola, en concret l’anomenat bo social per a les persones que estan en situació de pobresa energètica. El sistema es va crear per tramitar més ràpidament la sol·licitud del bo social. I què va sortir malament? Doncs la Fundació Civio va descobrir que tenia errors i quan va demanar el dret d’accés per veure el programa informàtic, l’administració pública l’hi va denegar. De moment, als tribunals anem Administració 2 - Civio 0. Dos tribunals han donat la raó a l’administració perquè no ensenyi els budells del programa informàtic, al·legant temes de propietat intel·lectual. Fa pocs dies el Suprem ha admès el recurs de cassació i hi haurà una sentència de la màxima instància on es discutirà si es pot accedir als budells informàtics del programa Bosco per saber si hi ha errors o no. Serà un cas líder que ens marcarà la pauta dels propers anys.

Tenim costos de tipus ambiental perquè la IA consumeix una quantitat d’aigua i energia important. Ens correspon als humans, també en el sector públic, ponderar costos i beneficis, i veure exactament on podem millorar l’administració i si val la pena adquirir sistemes d’IA.

Probablement sí. És un sistema molt senzill algorítmic, no hi ha IA perquè tot és humà, que ha estat influenciat per un col·lega meu de la Universitat de Barcelona, el doctor Antonio Andrés Pueyo i el seu equip, i és un sistema que té la voluntat d’ajudar a la presa de decisions en l’àmbit penitenciari en temes de llibertats condicionals, etcètera. A mi em sembla una iniciativa interessant, però no està exempt de crítiques. Alguns estudis parlen del cas Riscanvi, com en altres casos, per l’anomenat biaix d’automatització.

Que els humans, tots, tendim a confiar molt en les màquines perquè generalment fan la feina bé: generalment podem confiar en el GPS perquè ens durà on volem, però de vegades ens fica en uns camins absurds i hi ha gent que s’ha mort per haver-hi fet confiança. En el cas de Riscanvi podria haver-hi un biaix d’automatització del darrer humà que pren la decisió perquè en un 97% dels casos accepta el que li diu el sistema algorítmic.

S’han estès molts bots de conversa a les administracions municipals i altres per mantenir un diàleg amb l’usuari. Són sistemes interessants que interactuen, però de nou els riscos hi són.

D’aquí a una dècada, sens dubte, tindrem més humans que màquines, però la presència de sistemes d’automatització administrativa, inclosa la IA, s’incrementarà. El que és difícil de dir és en quina proporció. És possible fer l’encaix adequat entre l’humà i la màquina per millorar l’administració. El risc, però, és que tinguem el pitjor de cada món: el pitjor de les màquines (manca d’empatia, maneres de raonar...) i el pitjor dels humans, que som esbiaixats i tenim limitacions en la capacitat de processar informació. És el que hauríem d’evitar.

Depèn. L’administració que tenim avui és manifestament millorable. Per tant, és possible que sí, amb una combinació d’humans i màquines. Dependrà de les decisions estratègiques que es prenguin ara pensant en les propers dècades. I dependrà de decisions humanes, això no ens ho solucionarà el ChatGPT. A Catalunya tenim molt marge de millora segons rànquings internacionals, i com combinar màquines i humans influirà en les properes dècades.

Per segons què, sí, però sempre que les màquines estiguin supervisades per humans. No tinc cap dubte que amb sistemes avançats d’automatització d’IA fenòmens com el desastre de la dana segurament seran més fàcils de preveure, detectar i reaccionar-hi. Sempre ens trobarem el factor humà. Als anys vuitanta el coronel Petrov treballava en una base de llançament de míssils nuclears de la Unió Soviètica. Un dia, a través dels seus sistemes algorítmics, va detectar un atac nuclear nord-americà. Petrov tenia a les seves mans respondre a l’atac. Si no responia i s’estava produint l’atac, això suposava la destrucció de la Unió Soviètica. Si no s’estava produint perquè hi havia algun error en el sistema algorítmic i ell responia, això significava la destrucció dels Estats Units i probablement del món. Va ser una estona anguniosa. El coronel va decidir no respondre al suposat atac nuclear nord-americà. Va esperar uns minuts i, efectivament, no hi havia cap atac. D’aquí a deu anys podrem prevenir danes i guerres nuclears, però compte amb la combinació humà-màquina.

La reserva d’humanitat significa l’existència d’una sèrie de tasques i funcions que no haurien de ser adoptades per les màquines. El ciutadà què preferiria, que el jutgés una màquina o un humà?, o que les decisions urbanístiques del seu poble no les prengués el ple de l’Ajuntament sinó una màquina en què el ple ho hagués delegat?, o que la regulació sobre l’accés a la universitat o qüestions mèdiques les adoptés una màquina? La idea de reserva d’humanitat no és original, ja als anys setanta del segle passat es va llançar un bot de conversa anomenat Eliza i la gent li agafava estima. La reserva d’humanitat en el sector públic té tres raons. Les màquines són psicòpates i ni a mitjà ni a llarg termini els sistemes deixaran de ser psicòpates perquè no tenen cap mena d’empatia. En canvi, el 99 per cent dels humans no som psicòpates i, per tant, el nostre cablejat neuronal funciona bé, tenim neurones mirall i tenim la sensació empàtica entrenada. Al sector públic, quan s’han de prendre decisions com expropiar o sancionar, el factor d’entendre en quina situació es troba la persona, les màquines no el tenen. No estem davant d’una intel·ligència artificial general, ni de bon tros. En segon lloc, les IA que tenim avui en dia no raonen com els humans. La IA de tota la vida, la més senzilleta, la dels anys cinquanta, es basa en sistemes de processament d’informació abductius. Les més sofisticades, d’aprenentatge automàtic o profund, tenen un raonament o inferència inductiu. Agafen unes quantitats de dades impressionants, fora de l’abast de qualsevol humà, i a partir d’aquí dedueixen patrons, prediccions, decisions... El que passa és que els humans no només funcionem d’aquestes dues maneres: tenim un coneixement del món i un sentit comú i a partir d’aquí som capaços de construir unes hipòtesis que ens permeten prendre decisions encertades. I la tercera raó és que en la presa de decisions del sector públic hi ha la necessitat d’escoltar la persona afectada, per tant no podem posar en marxa sistemes automàtics que tirin milles i prenguin decisions de manera automatitzada i no s’aturin. Cal escoltar, rebre la informació i processar-la.

Exacte. Hi ha sistemes tan sofisticats que sabem la informació que els entra i la decisió que prenen, però entremig no sabem com prenen la decisió. Algú dirà: “Com els humans.” No és exactament igual. L’opacitat dels sistemes és més gran que la dels humans. Per cert, la reserva d’humanitat ja ha estat inclosa en el reglament d’IA de la Unió Europea pel que fa als jutges. Diu que la IA pot servir per ajudar els jutges a prendre decisions, però no per substituir-los totalment.

Aquest és un pensament raonable, i ho és tant que fa uns anys al Japó es va presentar un robot a les eleccions locals i va obtenir un bon nombre de vots. Un dels arguments dels votants era que almenys no seria corrupte. Tampoc no hem de ser ingenus. Els programes i les dades d’aquests sistemes venen d’algun lloc, no provenen de mons purs. L’aura immaculada dels sistemes d’IA s’ha de matisar. Així com entren biaixos a través de programadors humans, es pot arribar a manipular els sistemes. És veritat que, en principi, les màquines no han de tenir incentius per actuar de manera corrupta.

Abans que preferir una cosa o una altra, em preguntaria: “Aquesta màquina, d’on ha sortit? Aquest sistema ha estat elaborat internament al sector públic o ha estat externalitzat i comprat a una empresa privada que ha elaborat el sistema?” i quines garanties hi ha que no s’hi hagin introduït biaixos o altres elements. No és tan senzill. De fet, fa pocs mesos es va estrenar la pel·lícula Justícia artificial, que recomano.