AIのビジネス適用を阻む障壁をすべて乗り越えるためのガイド

こんにちは。DataRobotの坂本康昭です。最近、多くの企業がAIプロジェクトに取り組まれている印象を受けます。皆さんの周りではいかがでしょうか。日経ビジネスやXTECHでは、2020年、AI技術の導入が本格化し、AIの民主化が一段と進むと予想されています。

同時に、MIT Technology Reviewでは、一般的には、ほとんどの企業ではAIのPoCに注力しており、エンタープライズレベルでのビジネス適用で成功している企業は少ない、というEYのサーベイ結果が紹介されています。もちろん、DataRobotでは多くのお客様にビジネス適用で成功いただいておりますが、その裏ではたくさんの失敗も経験しました。

このブログでは、DataRobotの経験をもとに、AIのビジネスへの適用で成功するためのプロセスとフレームワークを紹介します。まずは、ビジネス適用でのチャレンジから見ていきましょう。

ラストマイル問題

最近では、自動化されたAI技術を使用することによって、たくさんのデータサイエンティストを雇うことなく、機械学習モデルを作成することができるようになりました。準備したデータに対して精度の良いモデルを構築することが、プログラミングや数学の知識なしで可能です。

ただ、出来上がったモデルをビジネス適用するという最後のステップには多くのチャレンジがあります。そのため、ビジネス適用で成功している事例は一般的にはまだ多くないのです。ビジネス適用への最後のステップをラストマイルと呼び、ここで立ち止まってしまうのが、ラストマイル問題です。

では、ラストマイル問題はなぜ起こるのでしょうか。1つの理由はデータからAIプロジェクトを進めるというプロセスです。データありきの分析は今でもよくあるかと思います。「こんなデータがあるのだけど、何か役に立つ分析できないかな？」といった相談を受けることもあります。「機械学習でやりたいことは整理されていますか？」とお聞きすると、「とりあえず今はデータを作成しているから、データが集まってから考える」といったこともよく聞きます。

まずデータからというアプローチの問題点は、意思決定や判断につなげられず、その結果、なにもアクションが起こらないというところです。こんな予測モデルを作成したのだけれど、どうやって使おうか、と後からどんなアクションが可能かビジネス部門に相談するイメージです。これでは「良いモデルができたね」で終わってしまいます。予測モデル自体は価値を生み出しません。アクションをとってはじめて価値が生まれるのです。

ラストマイルからスタートする

それでは、どうやってラストマイル問題を解決できるのでしょうか。考え方はシンプルで、ラストマイルからスタートするのです。結果から考えるのです。

• まず、解決したいビジネス課題を決め、KPIとして評価できることを確認します。スポンサーと最終的にどのような結果だと成功と言えるか合意します。
• そして、その課題を解決するための意思決定とアクションを決めます。ビジネス担当とIT担当と一緒に決めることが重要です。
• 意思決定とアクションが決まったら、それをサポートするためにどのような分析が必要かを考えます。機械学習がフィットする課題もあれば、ビジネスルールがより合っている課題もあるでしょう。
• 最後に、選択された分析をするために必要なデータを準備します。

こうして最終的に出したい結果から計画することで、ビジネス適用されるAIプロジェクトを実施することができます。

環境を準備する

ビジネスプロセスの理解

ラストマイルからスタートする中で、AIを使用した意思決定を提案しますが、ここで重要なのが、既存の意思決定プロセスをきちんと理解することです。既存の意思決定プロセスを理解せず、突然AIを使用したプロセスを提案すると、今までのやり方を無視することになり、完全にAIに置き換えることになります。ビジネスサイドやITサイドの信頼そして協力を得るためには、既存プロセスを理解し、それをどのようにAIを使用したプロセスと統合するかを一緒に考える必要があります。

既存の意思決定プロセスとAIを使用した新しい意思決定プロセスを比較することで、将来のプロセスで改善される領域がわかると、実行可能か、そしてビジネスインパクトに繋がるか、がより明確化されます。ITサイドとしては、実行するためにどれくらい投資しなければいけないかが理解できますし、ビジネスサイドとしては、ビジネスインパクトをどれくらい改善できるかを推定できます。

ビジネスプロセスに合わせた環境構築

AIを使用した意思決定プロセスを有効化するためには、周辺システムと連携する必要があります。実装方法の検討には以下の点をITサイドに連携します。

• 予測値の利用方法: そのまま利用するか、既存システムに組み込むか
• 予測の頻度: リアルタイム予測か、バッチ予測か（日次、週次、月次）
• 入力のデータ量: 例えば、予測1回の入力データ量により、実装方法が変わる
• AIへのアクセス: 例えば、AI構築環境外で予測の場合、実装方法が変わる

並行して運用開始の準備をしておきます。具体的には、運用体制と運用ルールを決めていきます。

運用体制の構築

運用体制に関しては、利用開始できるだけでなく、モデルを継続的に改善する体制を構築します。もちろん状況によって体制は変わってきますが、１つの例として、プロジェクトを実行するプロジェクトチームと組織的・技術的なサポートを担う推進チームを作ります。

この例では、プロジェクトチームには、LoBのスポンサーと事業担当、それからデータ担当とモデリング担当がメンバーです。スポンサーと事業担当がAI活用の戦略や方向性を決め、それに従ってデータ担当とモデリング担当が実際に手を動かしてAIを構築します。

推進チームには、エグゼクティブスポンサーとAI推進担当、そしてプロジェクトマネージャーやデータサイエンティスト、IT担当がいます。エグゼクティブスポンサーとAI推進担当は、AI文化を広めたり、プロジェクトチームに対して組織的なサポートをします。データサイエンティストとIT担当は、AI構築や運用に対して、技術的なサポートをします。

自社組織に最適なAI推進CoEを構築するには、こちらのブログをご覧ください。

運用ルールの策定

運用体制が決まっても、運用のルールがないとうまくいきません。ここでは、AIの利用・監視方法だけでなく、性能を維持・改善するための仕組みも組み込みます。ここはDataRobotのMLOpsが活躍するところです。また、効果測定のルールも決めます。状況によって運用ルールは変わってきますが、下の図で運用ルールを策定する時に検討すべきカテゴリとポイントがまとめられています。

ハイライトするところとしては、利用ルールのところでは、通常利用のルールに加えて、異常時の対応や利用方法の周知のルールが決まっていると運用がスムーズになります。効果測定ルールでは、効果報告のルールも決めることで、継続的にスポンサーの協力を得られます。監視、更新ルールでは、モデルの改善のルールを決めることで、継続的にモデル活用におけるヘルスチェックができるようになります。

構築したAIが業務適用可能なレベルか検証する

構築したAIを実業務に適用する前に、業務適用可能なレベルかテストする必要があります。GO判断をするにあたり、実行可能性とビジネスインパクトの検証はとても重要です。

まず検証方法の選択と設計をします。検証方法は机上検証と実務検証の選択肢があり、ビジネスの状況やモデルの信頼性に応じて選択します。

机上検証

机上検証には、過去に取得されたデータを用いるやり方と現在の業務で取得されているデータを用いるやり方があります。

過去データを使用した場合、過去の業務判断と仮にAIを活用していた場合の判断を比較します。メリットとしては実業務への影響がなく、短期間で検証が可能です。デメリットとしては、時間経過に伴う環境変化による影響は取り除けないのと、業務やシステムとの適合性は検証できません。

現在の業務と並行して検証の場合、現在の業務判断と仮にAIを適用する場合の判断を比較します。メリットとしては、実業務への影響がないのと、並行運用しているので、現ビジネス環境での検証が可能です。デメリットとしては、業務やシステムとの適合性は検証できないのと、結果を待つ必要があるので検証完了まで時間がかかります。

実務検証

机上検証では仮にAIを使用して判断していたらどうだったかを検証し、実際にはAIをもとにアクションしていません。実務検証では、実際にAIをもとにアクションして、実運用で検証します。Business as Usualになる前に行われるパイロットテストと呼ばれるものです。実務検証の仕方には一部導入と全体導入があります。

一部導入では、構築したAIを実業務に部分的に適用します。AI適用部分と既存アプローチ適用部分を比較して検証します。ABテストとかRandomized Controlled Trialと呼ばれるものです。ABテストのメリットは、AIの効果の検証と同時に、業務やシステムとの適合性を検証できるところです。また、効果が出ると判断されれば、すぐBusiness as Usualとして運用開始できます。デメリットは、実業務での検証ですので、実業務へ影響するリスクがあります。また、結果が出て検証が完了するまで時間がかかります。

全体導入では、構築したAIを実業務に全体的に適用します。検証の対象はAI適用前の結果とAI適用後の結果となります。全体導入のメリットは、部分導入と同様、AIの効果の検証と同時に、業務やシステムとの適合性を検証できるところ、また、効果が出ると判断されれば、すぐBusiness as Usualとして定常運用開始できるところです。全体導入のデメリットは、実業務へ影響するリスクと、時間経過に伴う環境変化による影響を取り除けないところとなります。

検証のプロセス

一般的には、検証プロセスは、ここで紹介した順番で実施されます。まず過去データでの机上検証を行い、見込みがありそうであれば、平行運用での机上検証を実施します。続ける価値があると判断された場合、実務検証に進み、まずは部分的にAIを使用して検証し、AIの効果が確認できたら全体導入で検証し、実運用に移っていきます。

AIプロジェクトのライフサイクルで考えると、机上検証は予測モデルを構築した後、モデルの検証のタイミングで実施します。予測モデルの効果が確認されたら、モデルをデプロイし、そして実務検証に入るとう流れになります。

スポンサーへの報告

机上検証結果がでたタイミングで、スポンサーに報告します。この報告での目的は、AI構築・検証の結果をスポンサーに説明し、実運用化判断を行うことです。

スポンサー向けの報告ですので、内容は検証結果だけでなく、今後の進め方まで計画して説明します。またAIを展開することで業務がどう改善するのか、検証結果のビジネス的な解釈を含めないと、スポンサーが実用化判断できません。通常は以下のような内容を含めて報告します。

• より具体化されたテーマの内容
• リスク管理・規制の観点からのモデルレビューの結果
• 机上検証の結果とそのビジネス的な解釈
• 実務検証の具体的な方法と実業務に与える影響
• システムの実装イメージ
• 運用に関連する部署
• 運用開始までの具体的な進め方
• 実運用に必要なコスト

運用での効果を測定する

スポンサー報告がうまくいき、無事に実運用化できたら、継続的に効果を測定していきます。AIによる価値創出を継続するため、価値を証明し、ステークホルダーの協力を維持する必要があるのです。

テーマによっては直接効果が測定できるものと、間接的にしか効果が測定できないものがあります。

AIで意思決定を高度化したり自動化するテーマは、直接価値を生み出します。効果の測定としては、過去のやり方での結果とAI導入後の結果を比較したり、もしABテストを継続されていれば、AIを導入していないグループとAIを導入したグループの結果を比較することで定量的に価値を算出できます。

AIから得られたインサイトをもとに施策を実施するようなテーマは、間接的に価値を生み出すケースです。インサイトから実施された施策の効果までトラッキングすることで、定量的に価値を算出できます。

実運用が始まってからも、定期的に効果を報告することが重要です。例えば、４半期ごとにマネジメントレビューを開催し、これまでの効果測定結果を報告することで、スポンサーやステークホルダーの支持を保つことができます。また、効果測定結果や獲得した有益なインサイトを社内に展開することで、AI推進に役立てられます。

チェンジマネジメントをする

構築したAIを無事運用化できたら、継続して使用いただくことが重要です。McKinsey Quarterlyによると70％のdigital transformationは予想していたほど価値が出ずに終わったとのことです。価値が出なかった一番の理由は、「従業員がチェンジに抵抗した」の39％で、次は「管理者の行動がチェンジをサポートしなかった」の34%でした。リソースやバジェットの不足は14％で、人の抵抗ほど大きな理由でなかったのがわかります。

それでは、どのようにしてチェンジへの抵抗を減らせるでしょうか。人の行動を変更するのはとても難しいですが、いくつか試せることをご紹介します。

まず、AI推進担当が必要です。AI推進担当は、プロジェクトチームに対して技術的だけではなく組織的なサポートも行います。AIを使用することで、業務がどう改善されるか、会社にどのようなインパクトがあるか、をスポンサー、管理職、従業員に説明したり、社内にAI文化を広めるために、社内事例発表会や社内コミュニティーをオーガナイズいただきます。

また、チェンジへの抵抗を減らすには、クイックウィンが有効です。これは、短期間でビジネスインパクトを出せる、実現可能性の高いテーマを優先的に進めることで、AIでこんなにビジネスに貢献できる、という事例を早い段階で作り上げることです。AI推進担当が自社事例を共有することによって、会社の信頼を得ることができ、他の部署でも試してみたいという話が出てきたりして、抵抗勢力が減っていきます。

では、どうやってクイックウィンを見つけるのでしょうか。AIプロジェクトのスタート段階で、様々なテーマを創出して、すぐに実行できビジネスインパクトに繋がるものを見つけます。創出されたAIテーマをビジネスインパクトと実現可能性の2つの軸で比較することで優先順位をつけます。実現可能性の軸には、協力的なアクション部隊がいるかという要素も入ってきます。協力的なチームで構築したAIを暫定運用していただき効果を出していただくことで、周りも真似したくなり、全体運用へと繋がります。

まとめ

ここでは、ビジネス適用についてお話をさせていただきましたが、最後に、AIプロジェクトのライフサイクルに沿ってまとめたいと思います。AIプロジェクトのライフサイクルは、大きく分けますと、テーマ創出と実施に向けた準備→AIの構築と検証→ビジネス適用となります。

まず、テーマ創出と実施に向けた準備のステージですが、このタイミングでビジネス適用を考えていないとダメです、というのが１つのポイントでした。ビジネス適用で成功するには、ラストマイルからスタートすると紹介させていただいたところです。また、意思決定プロセスを理解して、AIでどう改善されるかを明確にする必要があります。

AIの構築と検証のステージでは、AIが業務に利用可能か机上検証します。ここでは、机上検証→効果計算→ABテスト設計→スポンサー報告→デプロイ判定が実施されます。スポンサー報告では、検証結果だけではなく、ロールアウトの計画も報告します。スポンサーが実運用化へ進むか判断できるように、ビジネス解釈を含めた内容にする必要があります。

ビジネス適用のステージでは、まず、AIを業務に利用可能にし、関連業務・システムを整えます。ここでは、デプロイ→システム連携構築→ユーザへ利用方法周知→運用体制構築→運用ルール策定→運用準備完了報告を行います。次に、暫定運用、定常運用と移っていきますが、AIを業務に利用し、性能監視・継続的な精度向上を行います。具体的には、AIの利用→実地検証→効果の測定→定常化の判定・準備→性能の監視→モデル改善→モデル更新を実施します。

AIのビジネス適用で成功するには多くの要素が関わってきますが、ラストマイルからスタートして、きちんと準備をして進めれば、成功の確率が高くなりますので、ぜひお試しいただければと思います。

執筆者について

坂本 康昭（Yasuaki Sakamoto）

データサイエンティスト

DataRobot データサイエンティスト。2005年にアメリカの大学にて認知科学博士号取得後、教授職時代にデータサイエンスプログラムの立上げを経験。2015年に日本に戻り、保険会社で AI の応用に従事。2017年から DataRobot のデータサイエンティストとして金融業界のお客様をサポート。

坂本 康昭（Yasuaki Sakamoto） についてもっとくわしく