AI のインパクトの評価
AI の課題は、先を読み、すべての要素に適切な価値観が反映されるようなシステムの望ましい動作を体系的に特定し、その後、それを保証するための事前対策を計画することです。そのための分析を行う際、インパクト評価は組織にとって強力なツールとなります。
AI システムに適切な価値観を反映させる方法
AI システムの設計および実装の指針として詳細を十分に規定し、一般的な合意を得ている理論上の倫理基準というものはなく、またそのようなものが出現する見込みもありません。その代わりに、法律、業界規制、既知の社会的慣習などからいくつかの大原則の遵守が求められ、その他の点については、所属部署や社内全体で、自分たちが正しいと考える価値観を反映した判断を下す必要があるでしょう。
見方によれば、AI システムを相手にするほうが人間を相手にするより簡単です。たとえば、企業で人材を募集する場合、社風に合い、同僚などの従業員に求められている基準を具現化した人材を探します。しかし、目の前の会ったばかりの人にそうした人格特性があるかどうかを常に簡単に見抜けるとは限りません。
モデルのインパクト評価で求められること
インパクト評価は、AI システムのすべての関係者の代表者が意見を出し合うコラボレーションプロセスです。多くの場合、システムの関係者は、社内のデータサイエンスチームや、モデルの利用者であるエンドビジネスユーザーだけではありません。前にも述べたように、コンプライアンス、セキュリティ、プライバシーに関連する事柄の場合は、法務部や情報セキュリティチームの意見も取り入れる必要があると考えられます。さらに、モデルの影響を受ける従業員、顧客、患者なども関係者に含まれることがあります。インパクト評価では、必要に応じて、そのような個人の集団の多様性を認識し、モデルがさまざまなコミュニティにそれぞれどのような影響を与える可能性があるかを理解しなければなりません。
インパクト評価では、システムの開発から実装、利用に至るエンドツーエンドのモデリングプロセスを考慮する必要があります。そのプロセスでは、精度、バイアスと公平性、プライバシーとセキュリティ、AI システムの使用状況の開示をめぐる慣行、意思決定に関する消費者からの質問や問い合わせなどが特に懸念されると思われます。さまざまな関係者の個別のニーズや脆弱性を認識できるように調整された、堅牢なリスク軽減フレームワークも、モデルの実用化への道筋を切り開くにあたって極めて重要かつ有益です。
インパクト評価を実行すべきタイミング
1 回目のインパクト評価は、初期データソースの特定と評価に伴って、モデリングの開始前に実施する必要があります。インパクト評価は、デプロイしたモデルを監視し、実際の意思決定を行う際に、モデルの評価時、実用化時、運用継続中など、プロセスのさまざまな段階で繰り返し実施する価値のあるツールです。
インパクトはパズルの 1 ピースにすぎません
インパクトは、信頼できる AI の倫理面において必要な要素の 1 つにすぎません。その他の要素には次のようなものがあります。