確信度が低い AI 予測とは

AI システムには、予測の確信度を把握する方法がいくつかあります。予測間隔を計算し、実際の値が所定の予測範囲に収まる可能性について、確信度を明示して説明できます。この間隔からさまざまな情報が得られます。たとえば、間隔が狭いほど、予測の確信度は高くなります。間隔範囲の最大値と最小値から、最善のシナリオと最悪のシナリオを把握することもできます。

分類設定では、予測はクラスの確率に基づきますが、そこでは確信度について別の解釈ができます。たとえば、二値分類では、未加工のクラス確率は 0 ～ 1 のどこかの数値になります。クラス確率の分布によって分類しきい値が決まり、それを超える場合は 1 の値が割り当てられます。値が分類しきい値に非常に近いか、または遠く離れているかを評価することで、確信度をより簡単に把握できます。これに加えて予測間隔を利用すると、間隔が完全に境界の片側に含まれている場合は、実測値が予測ラベルのとおりであることについて、さらにはっきりとした確信が得られます。

予測の確信度や確実性が低くなる状況

トレーニングに使用されたデータとは明らかに異なるデータに直面した場合、予測の確実性が低下する可能性があります。1 つ以上の特徴量に外れ値が入力された場合などです。新しいカテゴリーレベルなど、モデルがこれまでに経験したことのない値や、まれにしか見たことのない値が入力された可能性もあります。予測値そのものが、トレーニング時やそれ以前の予測値から外れた値として識別されることもあり得ます。予測間隔だけでは分からないこうした状況は、モデル予測の潜在的な確信度を知るためのヒントとなります。DataRobot の Humble AI（予測の信頼性）では、これらの状況をトリガーとして本番環境のモデルに割り当て、それに応じて計画的な介入を自動的に行うことができます。

予測が不確かな場合に必要になる介入の種類

意思決定プロセスへの介入は、影響を最小限に抑えるものから完全に手動で行うものまで、様々なものが考えられます。最も影響が少ない介入は、トリガーとなる条件を含め、不確かな予測結果を単に記録および監視することです。こうしたログによって、モデル自体またはその実装と使用に対して行える改善について、何らかのヒントが得られる場合があります。予測が不確かであることをユーザーに警告することもできます。さらに、元の予測値に代わるデフォルトの「安全な」値をシステムから返すようにもできます。影響が最も大きくなりますが、エラーを返したり、人間のオペレーターに手動介入を促すアラートを出したりする対応も可能です。