リリース
Wiki トピック

DataRobot Spring 2024

生成 AI ソリューションのデプロイと管理を確実に実行

DataRobot は、テストと最適化、および AI の可観測性を実現することで、本番環境レベルの AI アプリケーションの作成、リアルタイムでの監視と介入、インフラの管理と最適化を可能にします。

本番環境レベルの AI アプリケーションの作成

高度な RAG テストと評価手法により、安全で有用な生成アプリケーションと予測アプリケーションを構築できます。

  • エンタープライズグレードのオープンソース LLM のサポート: Llama、Hugging Face、Falcon、Mistral といったオープンソース基盤モデルや、Nematron-3-8B などの新しいモデルを活用できます。
  • LLM 指標の評価とアセスメント: 正確性、忠実性、有効性などの指標を使用しながら、ユーザーフィードバックの統合やガードモデルのテストを実行することで、RAG パイプラインの品質を迅速に評価し、最適なパフォーマンスと安全性を確保します。
  • LLM プレイグラウンドの高度なテスト: 本番環境でテスト済みの高度な RAG ワークフローとカスタマイズツールを使用して、さまざまな埋め込み戦略、チャンク戦略、および LLM をテストできます。
  • DataRobot Notebooks の Codespaces: どこからでもアクセスできる AI プロジェクトでのシームレスなコラボレーション、Git によるバージョン管理、および複数のノートブックでの同時作業のすべてを、ユーザーフレンドリーなインターフェイスで実行できるため、コード開発とデプロイが効率化されます。
  • Workbench の GPU を使用したモデルトレーニング: DataRobot Notebooks で NVIDIA RAPIDS の GPU アクセラレーションライブラリーを使用することで、モデルのトレーニングをスピードアップし、生産性を高めることができます。
  • Q&A チャットアプリ: すぐに使用できるインタラクティブな生成 AI アプリケーションを関係者と共有し、DataRobot のプレイグラウンドで生成 AI の実験を作成して試すことで、実験にかかる時間を短縮できます。
  • アプリワークショップ: リリース可能な AI アプリワークショップで、デプロイにまつわる複雑な障害を解消できます。カタログの利用、アプリの登録やデプロイといったライフサイクル全体を一元管理できるため、複数のツールを切り替える必要がありません。
  • プロンプトのトレース: モデルのパフォーマンスに生じている問題の原因を突き止め、その問題を引き起こしているベクターデータベース内の場所にマッピングすることができます。その後、ユーザーフィードバックを活用して予測モデルをトレーニングすることで、モデルのパフォーマンスとユーザー体験が向上します。

リアルタイムでの監視と介入

予期しない動作や望まない動作を迅速に検出して阻止します。

  • 生成 AI アプリと ML モデルの登録を統合: AI の可視性、デプロイ、統合、監視を、機械学習モデルと AI アプリケーションを使う個人またはグループ間で標準化します。
  • 生成 AI のガードレールライブラリー: すぐに使える指標、カスタムガードモデル、動作の確認手法（リソースの消費、PII 検出、有害性、忠実度など）を使用して、モデルのパフォーマンスを管理します。
  • リアルタイムで行う LLM への介入とモデレーション: 強力で多層的な防御戦略を構築し、プロンプトと応答に対して監視と介入手段を動的かつリアルタイムに実行してリスクを最小化し、ハルシネーション、プロンプトインジェクション、PII リーケージなどの問題を阻止します。
  • 多言語生成 AI のテキストドリフト: ユーザーとのやり取りからトピックの傾向を評価し、データドリフトのワードクラウドから得られるインサイトを活用して、ベクターデータベースの強化、RAG モデルの調整、テキスト生成プロジェクト用モデルの調整を行います。
  • ジョブによるカスタムガバナンステスト: モデルのパフォーマンスと動作を検定し、説明可能性に関するカスタムインサイトを作成することで、コンプライアンスドキュメント用のグラフと係数をエクスポートできます。

インフラへの投資の管理と最適化

専用の AI プラットフォームで、既存のインフラからより多くの価値を引き出すことができます。

  • NVIDIA Inference Triton Server の統合: NVIDIA の Triton Inference Server を統合することで、高性能モデルをシームレスにデプロイできるだけでなく、GPU ベースのすべてのモデルを高いレベルで高速化して、推論の速度とリソースの効率を最適化します。
  • NVIDIA Inference Microservices（NIMs）による AI 推論の最適化: DataRobot で NVIDIA Inference Microservices を活用すれば、モデルのトレーニングを強化し、GPU 搭載システムを個別に用意する必要がなくなります。
  • AI の可観測性をクラウド環境とハイブリッド環境で実現: 包括的な可観測性、環境間の可視性、統一されたガバナンスにより、クラウド環境とハイブリッド環境全体で AI ポートフォリオを簡単に管理できます。
  • グローバルモデル: オープンソースのディープラーニングと NLP モデルを使用して、AI アセット全体で一貫したセキュリティとパフォーマンスの監視を確保し、最高のパフォーマンスを発揮するモデルを協力者と共有できます。
  • ジョブと通知ポリシー: モデルのパフォーマンスと動作を検定し、リアルタイムの通知と高度なカスタマイズが可能なアラートで、検出と解決にかかる時間を短縮します。
  • カスタムアプリの共有: きめ細かな RBAC とガバナンスポリシーを通じて、セキュリティポリシーを遵守してガバナンスを確保しながら、カスタムの生成 AI アプリを組織内外の関係者と安全に共有できます。

詳細については、DataRobot ドキュメンテーションのリリースセンターをご覧ください。