Korniza e zhvilluar në Lozanë dokumenton të dhënat, kodin dhe vlerësimet për ta bërë përdorimin e modeleve gjuhësore në kujdesin shëndetësor më të inspektueshëm.

Kujdesi shëndetësor është një nga fushat ku zbatimi iinteligjenca artificiale dhe të dhënat e mëdha Po vazhdon me më shumë kujdes, jo nga mungesa e interesit, por sepse gabimi ka pasoja të drejtpërdrejta për njerëzit. Modele të mëdha gjuhësore përdoren ose testohen tashmë për të mbështetur punën e mjekëve: ato mund të ndihmojnë në udhëzimin e një diagnoze, të përmbledhin dokumentacionin klinik, të sugjerojnë përparësi ose të ndihmojnë në vendimet e urgjencës. Pika kritike, megjithatë, mbetet verifikueshmëria. Nëse një sistem prodhon një rekomandim pa i bërë të arritshme të dhënat, metodat dhe kriteret e trajnimit të tij, kontrolli i pavarur bëhet i brishtë.

Është në këtë pikë që ai ndërhyn MeditronFO, i shpallur ngaEcole Polytechnique Fédérale de LausanneSipas Universitetit të Vaud, ky është kuadri i parë plotësisht i hapur për ndërtimin mjekët e modelit të gjuhës së madheTheksi nuk vihet vetëm te disponueshmëria e modelit përfundimtar, por te i gjithë zinxhiri i zhvillimit: të dhënat, kodi, procedurat e trajnimit, dokumentacioni dhe vlerësimet. Në një industri të rregulluar, të ndjeshme dhe profesionalisht të përgjegjshme, ky ndryshim nuk është i parëndësishëm.

Projekti lindi në Laboratori për Teknologji Inteligjente të Shëndetit Global dhe Përgjigjes Humanitare, i njohur si DRITË, brenda Shkollës së Shkencave të Kompjuterit dhe Komunikimit në EPFL. Baza teknike është ajo e hapur që përdoret tashmë nga Meditron, e publikuar në vitin 2023, por evolucioni i paraqitur tani synon ta bëjë të gjithë metodën e ndërtimit më transparente. Qëllimi i deklaruar është të mundësojë "medikalizimin" e modeleve bazë të hapura, domethënë përshtatjen e tyre në fushën e kujdesit shëndetësor përmes njohurive klinike, grupeve të të dhënave të dokumentuara dhe procedurave specifike të validimit.

Pse hapja peshon më shumë sesa vetëm publikimi i modelit

Në zhargonin e inteligjencës artificiale, fjala "e hapur" shpesh përdoret në mënyrë jokonsistente. Një model mund të bëjë të disponueshme peshat, por t'i mbajë të paqarta grupet e të dhënave, hapat e filtrimit, zgjedhjet e trajnimit ose protokollet e vlerësimit. Për përdorim klinik, kjo hapje e pjesshme krijon një problem auditimi: spitalet, studiuesit, autoritetet dhe komuniteti mjekësor mund të shohin rezultatet, por jo gjithmonë të rindërtojnë se si janë marrë ato.

MeditronFO përpjekjet për të kapërcyer këtë boshllëk. Korniza është aplikuar në modele bazë plotësisht të hapura, duke përfshirë OLMo, EuroLLM e Hap, një model zviceran i zhvilluar nga EPFL dhe ETH Zurich si pjesë e Iniciativës Zvicerane të IA-së. Ky veprim është i rëndësishëm sepse e zhvendos fokusin nga performanca e izoluar në gjurmueshmëria e zhvillimitNë mjekësi, njohja e rrugës që një sistem ndjek për të arritur një përgjigje mund të jetë po aq e rëndësishme sa matja e saktësisë së vetë përgjigjes.

Xavier Theimer-Lienhard, një student doktorature që drejton Meditron në LiLHT, e përmbledh parimin me një krahasim të drejtpërdrejtë midis trajnimit klinik dhe trajnimit model.

"Ne kurrë nuk do t'i besonim një mjeku, trajnimi i të cilit nuk mund të verifikohet: i njëjti standard duhet të zbatohet edhe për inteligjencën artificiale në kujdesin shëndetësor."

Deklarata sqaron një aspekt që shpesh anashkalohet në debatin mbi sistemet gjeneruese: besueshmëria nuk përkon me disponueshmërinë e një ndërfaqeje efektive. Në vend të kësaj, ajo kërkon dokumentim, riprodhueshmëri dhe aftësinë për t'u kontrolluar. Çështja ka të bëjë edhe me siguria dhe privatësia, sepse modelet e kujdesit shëndetësor përpunojnë njohuri dhe të dhëna që mund të kufizohen me informacionin e ndjeshëm, edhe kur ato nuk përfshijnë drejtpërdrejt të dhëna mjekësore të identifikueshme.

Komponenti i hapur nuk e eliminon në vetvete rrezikun e paragjykimeve, gabimeve ose keqpërdorimit. Megjithatë, ai zvogëlon një nga pengesat kryesore për analizën e pavarur. Me fjalë të tjera, ai nuk garanton automatikisht sigurinë klinike, por e bën punën e verifikimit, krahasimit dhe përmirësimit më konkrete.

Klinikët e përfshirë në ndërtim, jo ​​vetëm në testin përfundimtar

Një tipar dallues i projektit është përfshirja e profesionistëve të kujdesit shëndetësor që nga fazat më të hershme. Sipas EPFL, MeditronFO u zhvillua me klinicistë të përfshirë në përzgjedhjen e të dhënave, validimin e rezultateve dhe identifikimin e çështjeve të mundshme kritike. Kjo qasje zvogëlon rrezikun e zhvillimit të mjeteve formalisht të sofistikuara që nuk janë të përafruara mirë me praktikën e përditshme.

Validimi kalon edhe përmes Lëviz, një akronim për Massive Open Online Validation and Evaluations (Validimi dhe Vlerësimet Massive të Hapura Online), një mjedis përmes të cilit klinicistët marrin pjesë në vlerësimin dhe përmirësimin e vazhdueshëm të modeleve. Për një teknologji të projektuar për të bashkëvepruar me mjekësinë e botës reale, kjo është një pikë thelbësore: sfida nuk është thjesht t'i përgjigjesh saktë një pyetjeje, por ta bësh këtë në kushte të ngjashme me ato në të cilat punon një mjek, me kufizime kohore, informacion të paplotë dhe përgjegjësi operacionale.

Korniza kombinon të dhëna mjekësore publike me të dhëna sintetike të rishikuara nga klinicistët, të nxjerra nga ekzaminimet mjekësore, udhëzimet dhe rastet e pacientëve në botën reale. Burimi i EPFL tregon gjithashtu përdorimin e një grupi të dhënash klinike të kuruara nga ekspertë, të nxjerra nga mbi... 46.000 udhëzime të praktikës klinikeKëto janë të dhëna të rëndësishme sepse tregojnë shkallën e dokumentacionit të përdorur për të specializuar modelet, por duhet të lexohen së bashku me çështjen e cilësisë: në kujdesin shëndetësor, sasia e njohurive të përfshira nuk është e mjaftueshme nëse nuk shoqërohet me përzgjedhje, rishikim dhe kontekstualizim.

Mary-Anne Hartley, mjek dhe drejtor i ,DRITË lidh konkurrueshmërinë e modeleve me rolin aktiv të klinicistëve dhe komuniteteve.

"Gjetjet tona tregojnë se modelet mjekësore konkurruese mund të ndërtohen me përfshirjen aktive të klinicistëve dhe komuniteteve."

Ky ndryshim ka implikime organizative. IA mjekësore nuk paraqitet si një mjet i sjellë në sistemin e kujdesit shëndetësor nga jashtë, por si një arkitekturë softuerike që duhet të zhvillohet me ata që janë të njohur me procedurat, gabimet e përsëritura, kufizimet institucionale dhe ndryshimet midis konteksteve. Për kompanitë e teknologjisë shëndetësore, qendrat universitare dhe spitalet, mësimi është i qartë: transferimi nga qendra e kërkimin dhe zhvillimin Praktika klinike kërkon qeverisje, jo vetëm fuqi llogaritëse.

Rezultatet teknike dhe roli i fuqisë së lartë llogaritëse të Zvicrës

Për sa i përket performancës, EPFL raporton se çdo model MeditronFO ia kaloi modelit të tij bazë përkatës. Rezultati më i mirë i treguar në njoftimin për shtyp ka të bëjë me Apertus-70B-MeditronFO, gjë që përmirësoi performancën në testet mjekësore 6,6 pikë përqindjeje krahasuar me modelin themelor. Të dhënat duhet të interpretohen me kujdes: standardet janë të dobishme për krahasimin e konfigurimeve teknike, por ato nuk janë zëvendësim për vlerësimet klinike në mjedise të botës reale.

Rëndësia industriale e rastit qëndron edhe në infrastrukturën që e mbështet atë. Zhvillimi i MeditronFO u mbështet nga Iniciativa Zvicerane e Inteligjencës Artificiale, bashkëpunim midis EPFL, ETH Zurich dhe CSCS, Qendra Kombëtare Zvicerane e Superkompjuterëve. Sipas faqes së internetit të iniciativës, programi u lançua në dhjetor 2023 me mbi 10 milionë orë GPU në Alpe, superkompjuteri i operuar nga CSCS, dhe me financim nga 20 milionë franga zvicerane nga Domeni Federal i Politeknikëve.

Këto shifra tregojnë pse konkurrenca në inteligjencën artificiale në kujdesin shëndetësor nuk ka të bëjë vetëm me algoritmet dhe grupet e të dhënave. Ajo kërkon fuqi llogaritëse, ekspertizë të shpërndarë, infrastruktura vlerësimi dhe një masë kritike kërkimore. Vetë Iniciativa Zvicerane e Inteligjencës Artificiale pretendon se përfiton nga kontributet e mbi... Hulumtuesit 800, përfshirë 70 profesorë të fokusuar në inteligjencën artificiale, nga më shumë se dhjetë institucione akademike në SvizzeraNë këtë katërkëndësh, IL Superkompjuteri nuk është një përshpejtues i thjeshtë teknik, por një komponent i sovranitetit shkencor.

Lidhja me Apertus gjithashtu e përforcon këtë interpretim. Uebsajti i projektit e përshkruan atë si një model themeli plotësisht të hapur për IA sovrane, të zhvilluar nga Iniciativa Zvicerane e IA-së me EPFL, ETH Zurich dhe CSCS. Apertus pretendon hapje në peshat, të dhënat, kodin, metodat dhe parimet e saj të shtrirjes. MeditronFO e përdor këtë themel si një nga modelet për t'u specializuar në fushën mjekësore, duke demonstruar se si një qasje e rrjedhës së sipërme ndaj hapjes mund të gjenerojë aplikime vertikale më të kontrollueshme.

Nga eksperimentimi te repartet, fusha e testimit në Tanzani

Hapi tjetër nuk do të jetë thjesht një krahasim i modelit të ri. Sipas EPFL-së, ekipi po përgatit prova klinike në vende të shumta, nga Svizzera të gjithë Tanzania, për të vlerësuar se si mjekët përdorin inteligjencën artificiale në mjediset e kujdesit shëndetësor në botën reale. Testet do të vëzhgojnë nëse klinicistët i ndjekin apo i refuzojnë rekomandimet e gjeneruara dhe se si këto vendime ndikojnë në kujdesin ndaj pacientit.

Projekti shumëvjeçar i përmendur nga EPFL, i quajtur PËRDORIM MJEKËSOR, synon gjithashtu të kuptojë nëse IA mund të ndihmojë në përmirësimin e cilësisë së kujdesit duke zvogëluar trajtimet dhe ndërhyrjet e panevojshme. Kjo është një fushë delikate: një sistem mbështetës i vendimmarrjes mund të jetë i dobishëm nëse përmirëson cilësinë e informacionit të disponueshëm, por mund të bëhet problematik nëse prezanton automatizim ose inkurajon besim të tepërt në rekomandimet algoritmike.

Hartley bën thirrje konkretisht për nevojën për të matur efektin në rrugët e trajtimit, jo vetëm në testet teknike.

"Është e rëndësishme të merrni reagime nga bota reale bazuar në rezultatet e pacientëve."

IA klinike do të jetë më e besueshme kur të mund të inspektohet

Për sektorin e kujdesit shëndetësor, MeditronFO sugjeron një drejtim të qartë: IA klinike do të jetë më e besueshme kur të mund të inspektohet, përshtatet dhe vlerësohet nga komunitete të pavarura. Për bizneset, kjo do të thotë që modelet pronësore do të duhet të përballen me pritjet në rritje të transparencës. Për institucionet, çështja ka të bëjë me aftësinë për të përcaktuar rregulla që dallojnë midis hapjes formale dhe asaj aktuale.

Është joreale të mendosh se të gjitha sistemet mjekësore të bazuara në Mësimi makinë e të mësuarit e thellë të bëhen plotësisht të hapura. Megjithatë, është e besueshme që kujdesi shëndetësor do të kërkojë standarde më të larta të dokumentimit, auditimit dhe llogaridhënies, veçanërisht kur inteligjenca artificiale hyn në fushat e vendimmarrjes. Në këtë kuptim, MeditronFO nuk duhet të shihet thjesht si një model i ri, por si një eksperiment në qeverisjen teknike: ai e bën të dukshme atë që shpesh mbetet e fshehur pas një përgjigjeje të gjeneruar.

Prandaj, pyetja thelbësore nuk është premtimi abstrakt i një IA-je më të fuqishme. Bëhet fjalë për llojin e infrastrukturës që sistemet e kujdesit shëndetësor, universitetet dhe rregullatorët synojnë të pranojnë. Nëse modelet bëhen pjesë e praktikës klinike, besimi duhet të bazohet në elementë të verifikueshëm: prejardhja e të dhënave, auditimet e pavarura, performanca e matur në mënyrë transparente dhe përgjegjësia njerëzore e identifikueshme. MeditronFO i vendos këto elementë në qendër të diskutimit, duke ia lënë provës klinike vlerësimin e qëndrueshmërisë së tyre operacionale.

Burimet e Hapura të Meditron: Rrjedhat e Punës së AI-së të Auditueshme për LLM-të Klinike

Këtu janë tre njohuri që mund t'ju interesojnë:

Nga EPFL një model i ri multimodal për AI më fleksibël
Apertus është "IA e hapur" zvicerane për një të ardhme më transparente.
Një qendër e kujdesit shëndetësor i përparuar bazuar tërësisht në inteligjencën artificiale në Gjenevë