論文の概要: Unveiling AI's Blind Spots: An Oracle for In-Domain, Out-of-Domain, and Adversarial Errors

• arxiv url: http://arxiv.org/abs/2410.02384v1
• Date: Thu, 3 Oct 2024 11:02:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 03:30:37.590595
• Title: Unveiling AI's Blind Spots: An Oracle for In-Domain, Out-of-Domain, and Adversarial Errors
• Title（参考訳）: AIの盲点を解き放つ - ドメイン内、ドメイン外、および敵のエラーのためのOracle
• Authors: Shuangpeng Han, Mengmi Zhang,
• Abstract要約: 我々は、他のモデルのエラーを予測するために設計されたディープニューラルネットワークであるmentorモデルを用いて、経験的評価を行う。 われわれはSuperMentorと呼ばれる,エラーの予測精度を78%向上する"オークル"メンターモデルを開発した。
• 参考スコア（独自算出の注目度）: 4.525077884001726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI models make mistakes when recognizing images-whether in-domain, out-of-domain, or adversarial. Predicting these errors is critical for improving system reliability, reducing costly mistakes, and enabling proactive corrections in real-world applications such as healthcare, finance, and autonomous systems. However, understanding what mistakes AI models make, why they occur, and how to predict them remains an open challenge. Here, we conduct comprehensive empirical evaluations using a "mentor" model-a deep neural network designed to predict another model's errors. Our findings show that the mentor model excels at learning from a mentee's mistakes on adversarial images with small perturbations and generalizes effectively to predict in-domain and out-of-domain errors of the mentee. Additionally, transformer-based mentor models excel at predicting errors across various mentee architectures. Subsequently, we draw insights from these observations and develop an "oracle" mentor model, dubbed SuperMentor, that achieves 78% accuracy in predicting errors across different error types. Our error prediction framework paves the way for future research on anticipating and correcting AI model behaviours, ultimately increasing trust in AI systems. All code, models, and data will be made publicly available.
• Abstract（参考訳）: AIモデルは、ドメイン内、ドメイン外、あるいは敵のいずれであっても、画像を認識する際に間違いを犯す。 これらのエラーを予測することは、システムの信頼性を改善し、コストのかかるミスを低減し、医療、金融、自律システムといった現実のアプリケーションで積極的な修正を可能にするために重要である。 しかし、AIモデルが犯す過ち、なぜ発生し、どのように予測するかを理解することは、依然としてオープンな課題である。 ここでは、他のモデルのエラーを予測するために設計されたディープニューラルネットワークである「メンタ」モデルを用いて、包括的な経験的評価を行う。 本研究の結果から, 教師モデルは, 対面画像の誤りから学習に長けており, ドメイン内およびドメイン外誤りの予測に有効であることがわかった。 さらに、トランスフォーマーベースのメンターモデルは、さまざまなメンテアーキテクチャにおけるエラーの予測に優れています。 次に、これらの観測結果から洞察を得て、異なるエラータイプにわたるエラーを78%の精度で予測するSuperMentorと呼ばれる"オークル"メンターモデルを開発する。 我々のエラー予測フレームワークは、AIモデルの振る舞いを予測し、修正する将来の研究の道を開く。 すべてのコード、モデル、データは公開されます。

関連論文リスト

• Great Models Think Alike and this Undermines AI Oversight [47.7725284401918]
  モデル類似性がAI監視の両面に与える影響について検討する。 モデル誤りの重複に基づくLM類似性の確率論的尺度を提案する。 我々の研究は、モデル類似性の報告と修正の重要性を強調します。
  論文  参考訳（メタデータ） (2025-02-06T18:56:01Z)
• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• Enhancing the Fairness and Performance of Edge Cameras with Explainable AI [3.4719449211802456]
  本研究では,モデルデバッグに Explainable AI (XAI) を用いた診断手法を提案する。 トレーニングデータセットが主なバイアス源であることに気付き、ソリューションとしてモデル拡張を提案しました。
  論文  参考訳（メタデータ） (2024-01-18T10:08:24Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• An Effective Data-Driven Approach for Localizing Deep Learning Faults [20.33411443073181]
  問題パターンの学習にモデル機能を活用する新しいデータ駆動手法を提案する。 本手法は,手作業によるマッピングを必要とせず,バグ症状を根本原因に自動的に関連付ける。 以上の結果から,本手法は様々なバグタイプを効果的に検出・診断できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-18T03:28:39Z)
• Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction [50.79827516897913]
  本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。 実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-16T06:28:20Z)
• Explaining Anomalies using Denoising Autoencoders for Financial Tabular Data [5.071227866936205]
  本稿では,混合型表型データ用に設計された自動エンコーダを用いて,異常を記述するためのフレームワークを提案する。 これは、個々のサンプル列を潜在的なエラーでローカライズし、対応する信頼スコアを割り当てることによって達成される。 本フレームワークは,データ品質管理プロセスの改善とともに,異常の異常な特徴をドメインの専門家が理解できるように設計されている。
  論文  参考訳（メタデータ） (2022-09-21T21:02:22Z)
• Discovering and Validating AI Errors With Crowdsourced Failure Reports [10.4818618376202]
  クラウドソースの障害レポートや、モデルが失敗した理由や理由に関するエンドユーザの説明を導入し、開発者がAIエラーの検出にどのように使用できるかを示します。 また、障害レポートを合成する視覚分析システムであるDeblinderを設計、実装する。 半構造化されたインタビューと10人のAI実践者とのシンク・アラウド・スタディでは、現実の環境でのDeblinderシステムと障害報告の適用可能性について検討する。
  論文  参考訳（メタデータ） (2021-09-23T23:26:59Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• A Bayesian Approach to Identifying Representational Errors [19.539720986687524]
  本稿では,俳優の行動観察に基づく表現誤差推定のための生成モデルを提案する。 本手法は,強化学習エージェントと人間ユーザの両方の盲点を回復できることを示す。
  論文  参考訳（メタデータ） (2021-03-28T16:43:01Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。