EUがAIのリスクベース規則の罰金を全世界年間売上高の最大4%で計画、草案流出で判明
人工知能の利用をめぐる規則草案を作成中の欧州連合の議員らが、違反したユースケースについて全世界の年間売上高の最大4％（もしくは2000万ユーロ［約26億円］のどちらか高額な方）を罰金として検討していることがわかった。公式の発表が見込まれるAI規則の草案が流出し、Politico（ポリティコ）が報じたことで判明した。
AI規制をめぐる計画はしばらく前から予想されていた。2020年2月には欧州委員会がホワイトペーパーを公開し「高リスク」とされる人工知能の利用を規制する計画の概略を発表した。
当時、EUの議員は分野ベースでの検討を進めていた。エネルギーや人材採用といった特定の分野をリスク領域と想定していたのだ。しかし、流出した草案を見るとこのアプローチは見直されたようで、今回、AIリスクに関する議論は特定の業界や分野には限定されていない。
焦点は代わりに、分野に関係なく高リスクのAI利用に関するコンプライアンス要件に向けられている（武器や軍事的な利用は明確に除外されているが、それはこの領域がEU条約の対象から外れているため）。とはいえ「高リスク」の定義については、この草案だけではまだ不明瞭だ。
ここでの欧州委員会の最大の目標は、AIの社会的信用を高めることにある。そのために「EUバリュー」に染まったシステムによってコンプライアンスチェックと均衡化を図り、いわゆる「信用できる」 「人間主体」のAI開発を促進するという。そこで「高リスク」と見なされていないAI応用のメーカーも、本委員会の言葉を借りると「高リスクのAIシステムに適用される必須条件の自発的な適用を促進するため」に行動規範を導入することが推奨されている。
本規則のもう1つの焦点は、連合内のAI開発を支える方策の制定だ。加盟国に規制のサンドボックス制度を定めるよう迫ることで、スタートアップや中小企業が市場展開前の段階で優先的にAIシステムの開発とテストの支援を受けられるようにする。
草案では、所轄官庁が「当局の監督と是正に全面的に従いながらも、サンドボックスに加わる事業体の人工知能プロジェクトについて自由裁量権と均整化の権限を与えられる」としている。
高リスクのAIとは？
計画中の規則では、人工知能の利用を予定する事業体が、特定のユースケースが「高リスク」かどうかを見極め、それゆえ市場展開前に義務付けられているコンプライアンス評価を実施すべきかを判断しなければならないとされている。
草案の備考によると「AIシステムのリスク分類は、その利用目的にもとづいて決定される。該当のAIシステムの利用目的を具体的な状況や利用条件を含めて検討し、その利用が何らかの危険を及ぼすかどうか、またその場合、潜在的な危険の重大度と発生可能性がどのくらいか、この2つを考慮することで決定される」。
草案は「本規則に従って高リスクと分類されたAIシステムは、必ずしも各分野の法律において『高リスク』とされるシステムまたは商品とは限らない」とも言及している。
高リスクのAIシステムに関連する「危険」の例を草案のリストから挙げると「人の負傷または死、所有物への損害、社会への大規模な悪影響、重要な経済的および社会的活動の通常運用に不可欠なサービスを大きく混乱すること、経済、教育、または就業の機会への悪影響、公共サービスおよび何らかの公的支援の利用に対する悪影響、（欧州市民の）基本的権利への悪影響」などが含まれている。
高リスクの利用についても、いくつかの例が取り上げられている。例えば人材採用システム、教育機関または職業訓練機関へのアクセスを提供するシステム、緊急のサービス派遣システム、信用度評価、税金で賄われる社会福祉の配分決定に関係するシステム、犯罪の防止・発見・起訴に関連して適用される意思決定システム、そして裁判官のサポート目的で使用される意思決定システムなどだ。
つまり、リスク管理システムを制定し、品質管理システムを含めた市場展開前の調査を実施するなどコンプライアンス要件が満たされている限り、規制計画によってこうしたシステムがEU市場で禁じられることはないだろう。
その他の要件はセキュリティ分野の他、AIのパフォーマンスの一貫性確保に関するものだ。「重大なインシデントや、義務違反を含むAIシステムの誤作動」については、どのようなものであれ発覚後15日以内に監督機関に報告することが規定されている。
草案によると「高リスクのAIシステムも、必須条件への準拠を条件として連合市場に出す、あるいは運用することができる」。
「連合市場に出されている、あるいは運用されている高リスクのAIシステムを必須条件に準拠させる際は、AIシステムの利用目的を考慮し、提供元が定めるリスク管理システムに従って行うべきである」。
「これらに加え、提供元が定めるリスク制御管理策は、すべての必須条件を適用した場合の効果および起こり得る相互作用を鑑み、また関連する整合規格や共通仕様書など一般的に認められている最高の技術水準を考慮して定めるべきである」
禁止されるプラクティスと生体認証
流出した草案によると、計画中の法令の第4項では一部のAI「プラクティス」が禁止条項に挙げられている。例えば、大規模な監視システム、さらには差別につながりかねない一般の社会的なスコアリングシステムへの（商業目的での）適用などだ。
人間の行動、意思決定、または意見を有害な方向へ操るために設計されたAIシステム（ダークパターン設計のUIなど）も、第4項で禁止されている。個人データを使用し、人や集団の弱さをターゲットとして有害な予測をするシステムも同様だ。
一般の読者の方は、本規則が人のトラッキングをベースとする行動ターゲティング広告、つまりFacebook（フェイスブック）やGoogle（グーグル）といった企業のビジネスモデルで用いられるプラクティスを一挙に禁止しようとしているのではないかと推測されるかもしれない。しかし、そのためには広告テクノロジーの巨大企業らに、自社のツールをユーザーに有害な影響を及ぼすツールだと認めてもらわなければならない。
対して、彼らの規制回避戦略は真逆の主張にもとづいている。フェイスブックが行動ターゲティング広告を「関連」広告と呼んでいるのもそのためだ。この草案は、EU法を定着させようとする側と、自社に都合のいい解釈をしようとする巨大テクノロジー企業らとの（今よりも）長きにわたる法廷での戦いを招くものとなるかもしれない。
禁止プラクティスの根拠は、草案の前文にまとめられている。「人工知能が特別に有害な新たな操作的、中毒的、社会統制的、および無差別な監視プラクティスを生みかねないことは、一般に認知されるべきことである。これらのプラクティスは人間の尊厳、自由、民主主義、法の支配、そして人権の尊重を重視する連合の基準と矛盾しており、禁止されるべきである」。
本委員会が公共の場での顔認証の利用禁止を回避したことは、注目に値するだろう。2020年の初めに流出した草案ではこの点が考慮されていたが、2020年のホワイトペーパー公開前には禁止とは別の方向へかじを切ったようだ。
流出した草案では、公共の場での「遠隔生体認証」が「公認機関の関与を通じてより厳格な適合性評価手順を踏む」対象に挙げられている。つまり、その他ほとんどの高リスクのAI利用とは異なり（これらはセルフアセスメントによる要件順守が認められている）、データ保護の影響評価を含む「テクノロジーの利用によって生じる特定のリスクに対応するための承認手続き」が必要だということだ。
「また、評価の過程で、承認機関は定められた目的でシステムを利用する際の誤差によって生じる危険（とりわけ年齢、民族、性別、または障害に関するもの）の頻度とその重大度を考慮しなければならない」と草案は述べている。「その他、特に民主的プロセスへの参加や市民参加、さらには参照データベース内の人々のインクルージョンに関する手段、必要性、および比例について、その社会的影響を考慮しなければならない」。
「主として個人の安全に悪影響を与えかねない」AIシステムもまた、コンプライアンスの手順の一環として高水準の規制関与を受ける必要がある。
すべての高リスクAIの適合性評価に用いるシステムについては引き続き検討が続いており、草案では「本規則への準拠に影響しかねない変更がAIシステムに生じた場合、あるいはAIシステムの利用目的に変更が生じた場合には、新たに適合性評価を実施することが適切である」としている。
「市場に出された、あるいは運用を開始した後にも「学習」を続ける（機能の実行方法を自動的に適応する）AIシステムについては、アルゴリズムおよびパフォーマンスに生じた変化が適合性評価の時点で事前に特定および評価されていない場合、新たにAIシステムの適合性評価を実施する」とのことだ。
規則に準拠する企業へ与えられる報酬は「CE」マークの取得だ。このマークによってユーザーの信頼を獲得し、連合の単一市場全体で摩擦のないサービスを提供できる。
「高リスクのAIシステムを連合内で自由に利用するには、CEマークを取得して本規則との適合を示す必要がある」と草案は続ける。「加盟国は本規則で定められた要件に準拠するAIシステムの市場展開または運用を妨げる障害を生んではならない」。
ボットとディープフェイクの透明性確保
提供元は、商品の市場展開前に（ほぼセルフでの）評価を実施し、コンプライアンス義務（モデルのトレーニングに使用するデータセットの品質確保、記録の保持・文書化、人間による監視、透明性の確保、正確性の確保など）を果たし、市場展開後も継続的に監視を続けることが要求されている。このように「高リスク」のAIシステムを安全に市場に出すべく、いくつかのプラクティスを法的に禁止し、EU全体での規則適用に用いるシステムの確立を模索すると同時に、草案では人をだます目的で使用されているAIのリスクを縮小しようとする動きがある。
具体的には、自然人とやり取りをする目的で使用されるAIシステム（ボイスAI、チャットボットなど）、さらには画像、オーディオ、または動画コンテンツを生成または操作する目的で使用されるAIシステム（ディープフェイク）について「透明性確保のための調和的な規定」を提案しているのだ。
「自然人とやり取りをする、またはコンテンツを生成する目的で使用されるAIシステムは、高リスクに該当するか否かに関わらず、なりすましや詐欺といった特定のリスクを含む可能性がある。状況によっては、これらのシステムの利用は高リスクのAIシステム向けの要件および義務とは別に、透明性に関する特定の義務の対象となるべきである」と草案は述べている。
「とりわけ、自然人はAIシステムとやり取りする場合、それが状況や文脈から明確に分かる場合を除き、その旨は通知されるべきである。さらに、実在の人物、場所、出来事との明確な共通点がある画像、オーディオ、または動画コンテンツを生成あるいは操作する目的でAIシステムを使用し、そのコンテンツが一般人によって本物と誤解されるものである場合は、ユーザーは人工知能の生産物にそれぞれ表示を付け、人工物の作成元を開示することで、該当コンテンツが人工的に作成されたあるいは操作されたことを開示しなければならない」。
「表示に関するこの義務は、該当コンテンツが治安の維持や正当な個人の権利または自由（例えば風刺、パロディー、芸術と研究の自由の行使、さらにはサードパーティーの適切な権利および自由を保護するための題材）の行使のために必要な場合には適用されない」。
実施の詳細は？
このAI規則案はまだ委員会によって正式に発表されてはいないため、詳細が変更される可能性はあるが、2018年に施行されたEUのデータ保護規則の実施がいまだに不十分なことを踏まえると、（複雑な場合が多い）人工知能の具体的な利用を規制するまったく新しいコンプライアンス層の導入がどこまで効果的に監視し、違反を取り締まれるのかは疑問だ。
高リスクのAIシステムを市場に出す際の責任（かつ、高リスクのAIシステムを委員会が維持予定のEUデータベースに登録することなど、さまざまな規定への準拠責任）はそのシステムの提供元にある一方で、規則案では規制の実施を加盟国に一任している。つまり、各国にある1つまたは複数の所轄官庁に監視規則の適用を管理するよう任命する責任は、それぞれの加盟国にあるということだ。
その実態は、EU一般データ保護規則（GDPR）の先例からすでに見えているだろう。委員会自体も、連合全体でGDPRの実施が一貫したかたちで、あるいは精力的に行われていないことを認めている。疑問点は、駆け出しのAI規則が同じ フォーラムショッピングの運命をたどらないようにできるのかという点だ。
「加盟国は、本規則の条項が確実に実践されるよう必要な手段をすべて取らなければならない。これには、違反に対して効果的かつバランスのとれた、行動抑止効果のある罰則を規定することが含まれる。具体的な違反については、加盟国は本規則で定められた余地と基準を考慮に入れるべきである」と草案は述べている。
委員会は、加盟国の実施が見られない場合の介入について補足説明をしている。とはいえ、実施方法について短期的な見通しがまったくないことを考えると、先例と同じ落とし穴があることは否めないだろう。
将来の実施失敗を阻止するため、委員会は次のように最終手段を定めている。「本規則の目標は連合内での人工知能の市場展開、運用開始、および利用に関する信頼のエコシステムを構築するための環境を整えることである。それゆえ、加盟国がこれを十分に達成することができず、措置の規模または効果を鑑みた結果連合レベルでの実施の方がよりよい成果を達成できると考えられる場合、連合は欧州連合基本条約第5項に定められた権限移譲の原則に従う範囲で、措置を講じることができる」。
AIの監視計画には、GDPRの欧州データ保護委員会と類似のEuropean Artificial Intelligence Board（欧州人工知能委員会）を設立することが含まれている。この委員会はEUの議員に向けて、禁止されているAIプラクティスや高リスクのシステムのリストなどに関して重要な推奨事項や意見を述べ、欧州データ保護委員会と同じように規則の適用を支援していくこととなる。
カテゴリー：パブリック / ダイバーシティ
タグ：人工知能、EU、顔認証、生体認証
画像クレジット：piranka / Getty Images
［原文へ］
（文：Natasha Lomas、翻訳：Dragonfly）
近日開催のイベント
