Organisaation olisi laadittava ja ylläpidettävä dokumentoitua suunnitelmaa suuririskisten tekoälyjärjestelmiensä tarkastelua, testausta ja validointia varten. Tällä suunnitelmalla varmistetaan, että järjestelmän laatua arvioidaan johdonmukaisesti koko sen elinkaaren ajan.

Suunnitelmassa olisi määriteltävä ennen kehittämistä, sen aikana ja sen jälkeen suoritettavat menettelyt sekä näiden toimien tiheys.

Organisaation olisi määriteltävä ja dokumentoitava tiedonhallintaprosessit suuren riskin tekoälyjärjestelmiä varten. Prosessien on katettava koko tietojen elinkaari tietojen keräämisestä niiden säilyttämiseen.

Menettelyillä olisi varmistettava, että tekoälyjärjestelmän kehittämisessä ja käyttämisessä käytettävät tiedot ovat merkityksellisiä, edustavia ja niitä käsitellään turvallisesti. Tähän sisältyy käytäntöjen määrittely seuraaville seikoille:

• Tiedon hankinta, kerääminen ja analysointi.
• tietojen merkitseminen, suodattaminen ja yhdistäminen.
• tietojen varastointi, turvallisuus ja säilytysaikataulut.
• tietojen laadun ja soveltuvuuden tarkistaminen.

Organisaation olisi laadittava ja dokumentoitava menettelyt laadunvalvontaa ja laadunvarmistusta varten suuren riskin tekoälyjärjestelmien kehittämisen aikana. Näillä järjestelmällisillä toimilla varmistetaan, että järjestelmä täyttää laatutavoitteet ja suunnittelumäärittelyt koko kehitysprosessin ajan. Näille menettelyille olisi nimettävä omistaja.

Organisaatio on luonut, toteuttanut ja ylläpitää suunnittelu- ja kehitysprosessia, joka on tarkoituksenmukainen sen tuotteiden ja palveluiden toimittamiseen. Suunnittelu- ja kehitystoiminnan luonne, kesto ja monimutkaisuus on otettava huomioon määriteltäessä prosessin tarvittavaa yksityiskohtaisuutta.

Suunnittelu- ja kehitysprosessilla on selkeästi määritelty omistaja ja muut siihen liittyvät valtuudet.

Suunnittelu- ja kehittämisprosessin järjestykseen kuuluu vähintään seuraavat osat:

• saavutettavien tulosten määrittelyvaihe
• tarvittavat prosessin vaiheet, mukaan lukien sovellettavat suunnittelu- ja kehityskatselmukset
• vaadittavat todentamis- ja validointitoimet (jotta voidaan varmistaa, että syntyvät tuotteet/palvelut täyttävät vaatimukset)
• tarvittavat sisäiset ja ulkoiset resurssit

Suunnittelu- ja kehittämisprosessin valvomiseksi tulisi harkita seuraavia valvontatoimia:

• tarve valvoa osallistuvien henkilöiden välisiä rajapintoja
• asiakkaiden ja käyttäjien osallistumisen tarve
• asiakkaiden ja muiden asianomaisten osapuolten odottama valvonnan taso.
• tuotteiden ja palvelujen myöhempää toimittamista koskevat vaatimukset
• tarvittavien dokumentoitujen tietojen määrittely sen osoittamiseksi, että prosessia on noudatettu.

Organisaation olisi määriteltävä ja dokumentoitava tekniset eritelmät, mukaan lukien mahdolliset standardit, joita sovelletaan suuren riskin tekoälyjärjestelmien kehittämisessä ja käytössä. Jos yhdenmukaistettuja standardeja ei käytetä täysimääräisesti, organisaation on dokumentoitava vaihtoehtoiset menetelmät, joilla varmistetaan, että tekoälyjärjestelmä on kaikkien asiaankuuluvien vaatimusten mukainen.

Organisaatio on määritellyt menetelmät kullekin prosessille ja yleensä asiakastyytyväisyydelle määriteltyjen laatuun liittyvien mittareiden analysoimiseksi ja arvioimiseksi.

Analyysi voidaan toteuttaa esimerkiksi säännöllisissä työpajoissa, joissa keskitytään organisaation laadun arviointiin ylätasolta käsin.

Analyysin tuloksia käytetään ainakin seuraaviin arviointeihin:

• tuotteiden ja palvelujen vaatimustenmukaisuus
• asiakastyytyväisyys ja sen kehitys
• laadunhallintajärjestelmän yleinen suorituskyky ja tarvittavat parannukset
• riskienhallinnan tehokkuus
• ulkopuolisten palveluntarjoajien suorituskyky

Organisaation tuotteiden / palvelujen tarjoamisen on tapahduttava valvotuissa olosuhteissa. Tämän varmistamiseksi organisaatio on määritellyt, mitä valvotut olosuhteet tarkoittavat sen toiminnassa.

Määritelläkseen valvotut olosuhteet organisaation tulisi ottaa huomioon:

• selkeästi dokumentoidut tuote- / palvelumääritelmät ja saavutettavat tulokset
• sopivien seuranta- ja mittausresurssien saatavuus
• seuranta- ja mittaustoimien toteuttaminen asianmukaisissa vaiheissa sen varmistamiseksi, että prosessien tai tuotosten valvontakriteerit ja tuotteiden ja palvelujen hyväksymiskriteerit on täytetty
• sopivan infrastruktuurin ja ympäristön käyttö prosessien toimintaa varten
• pätevien henkilöiden nimittäminen, mukaan lukien kelpoisuusvaatimukset
• suunniteltujen tulosten saavuttamiskyvyn validointi
• inhimillisten virheiden estämiseen tähtäävien toimien toteuttaminen
• julkaisu-, toimitus- ja toimituksen jälkeisten toimien toteuttaminen.

Organisaation on säilytettävä tuotokset tuotannon ja palvelun tarjoamisen aikana siinä määrin kuin on tarpeen vaatimustenmukaisuuden varmistamiseksi.