論文の概要: Unveiling AI's Blind Spots: An Oracle for In-Domain, Out-of-Domain, and Adversarial Errors
- arxiv url: http://arxiv.org/abs/2410.02384v1
- Date: Thu, 3 Oct 2024 11:02:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 03:30:37.590595
- Title: Unveiling AI's Blind Spots: An Oracle for In-Domain, Out-of-Domain, and Adversarial Errors
- Title（参考訳）: AIの盲点を解き放つ - ドメイン内、ドメイン外、および敵のエラーのためのOracle
- Authors: Shuangpeng Han, Mengmi Zhang,
- Abstract要約: 我々は、他のモデルのエラーを予測するために設計されたディープニューラルネットワークであるmentorモデルを用いて、経験的評価を行う。
われわれはSuperMentorと呼ばれる,エラーの予測精度を78%向上する"オークル"メンターモデルを開発した。
- 参考スコア（独自算出の注目度）: 4.525077884001726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI models make mistakes when recognizing images-whether in-domain, out-of-domain, or adversarial. Predicting these errors is critical for improving system reliability, reducing costly mistakes, and enabling proactive corrections in real-world applications such as healthcare, finance, and autonomous systems. However, understanding what mistakes AI models make, why they occur, and how to predict them remains an open challenge. Here, we conduct comprehensive empirical evaluations using a "mentor" model-a deep neural network designed to predict another model's errors. Our findings show that the mentor model excels at learning from a mentee's mistakes on adversarial images with small perturbations and generalizes effectively to predict in-domain and out-of-domain errors of the mentee. Additionally, transformer-based mentor models excel at predicting errors across various mentee architectures. Subsequently, we draw insights from these observations and develop an "oracle" mentor model, dubbed SuperMentor, that achieves 78% accuracy in predicting errors across different error types. Our error prediction framework paves the way for future research on anticipating and correcting AI model behaviours, ultimately increasing trust in AI systems. All code, models, and data will be made publicly available.
- Abstract（参考訳）: AIモデルは、ドメイン内、ドメイン外、あるいは敵のいずれであっても、画像を認識する際に間違いを犯す。
これらのエラーを予測することは、システムの信頼性を改善し、コストのかかるミスを低減し、医療、金融、自律システムといった現実のアプリケーションで積極的な修正を可能にするために重要である。
しかし、AIモデルが犯す過ち、なぜ発生し、どのように予測するかを理解することは、依然としてオープンな課題である。
ここでは、他のモデルのエラーを予測するために設計されたディープニューラルネットワークである「メンタ」モデルを用いて、包括的な経験的評価を行う。
本研究の結果から, 教師モデルは, 対面画像の誤りから学習に長けており, ドメイン内およびドメイン外誤りの予測に有効であることがわかった。
さらに、トランスフォーマーベースのメンターモデルは、さまざまなメンテアーキテクチャにおけるエラーの予測に優れています。
次に、これらの観測結果から洞察を得て、異なるエラータイプにわたるエラーを78%の精度で予測するSuperMentorと呼ばれる"オークル"メンターモデルを開発する。
我々のエラー予測フレームワークは、AIモデルの振る舞いを予測し、修正する将来の研究の道を開く。
すべてのコード、モデル、データは公開されます。
関連論文リスト
- Autoregressive Uncertainty Modeling for 3D Bounding Box Prediction [63.3021778885906]
3Dバウンディングボックスは、多くのコンピュータビジョンアプリケーションで広く使われている中間表現である。
本稿では,自己回帰モデルを利用して高い信頼度予測と意味のある不確実性対策を行う手法を提案する。
我々はシミュレーションデータセットであるCOB-3Dをリリースし、現実世界のロボティクスアプリケーションで発生する新しいタイプのあいまいさを強調します。
論文 参考訳（メタデータ） (2022-10-13T23:57:40Z) - Explaining Anomalies using Denoising Autoencoders for Financial Tabular
Data [5.071227866936205]
本稿では,混合型表型データ用に設計された自動エンコーダを用いて,異常を記述するためのフレームワークを提案する。
これは、個々のサンプル列を潜在的なエラーでローカライズし、対応する信頼スコアを割り当てることによって達成される。
本フレームワークは,データ品質管理プロセスの改善とともに,異常の異常な特徴をドメインの専門家が理解できるように設計されている。
論文 参考訳（メタデータ） (2022-09-21T21:02:22Z) - Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。
これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。
提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文 参考訳（メタデータ） (2022-06-04T19:45:02Z) - A Universal Error Measure for Input Predictions Applied to Online Graph
Problems [57.58926849872494]
本稿では,入力予測における誤差の定量化のための新しい尺度を提案する。
この尺度は、予測されていない要求と予測されていない実際の要求によるエラーをキャプチャする。
論文 参考訳（メタデータ） (2022-05-25T15:24:03Z) - Investigating Compounding Prediction Errors in Learned Dynamics Models [7.237751303770201]
エージェントの行動の結果を正確に予測することは、ロボット制御の計画において重要な前提条件である。
Deep MBRLは、ニューラルネットワークを使用して、高次元状態からアクションへの各パスを予測するダイナミックスモデルを学ぶことで、一般的な候補となっている。
これらの「ワンステップ」予測は、構成された予測の長い地平線上で不正確なことが知られている。
論文 参考訳（メタデータ） (2022-03-17T22:24:38Z) - Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。
我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。
そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
論文 参考訳（メタデータ） (2021-09-30T19:19:09Z) - Tolerating Adversarial Attacks and Byzantine Faults in Distributed
Machine Learning [12.464625883462515]
敵対的攻撃は、人工知能と機械学習モデルのトレーニング、再訓練、活用を妨害しようとする。
本稿では,敵対的攻撃を防御し,ビザンチン断層を許容する分散学習アルゴリズムParSGDを提案する。
以上の結果から,ParSGDを用いたMLモデルでは,攻撃を受けていないか,ノードのほぼ半数が障害を受けたか,あるいは障害が発生していないか,というような正確な予測が可能であることがわかった。
論文 参考訳（メタデータ） (2021-09-05T07:55:02Z) - High-dimensional separability for one- and few-shot learning [58.8599521537]
この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。
特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。
AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
論文 参考訳（メタデータ） (2021-06-28T14:58:14Z) - A Bayesian Approach to Identifying Representational Errors [19.539720986687524]
本稿では,俳優の行動観察に基づく表現誤差推定のための生成モデルを提案する。
本手法は,強化学習エージェントと人間ユーザの両方の盲点を回復できることを示す。
論文 参考訳（メタデータ） (2021-03-28T16:43:01Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Bootstrapped model learning and error correction for planning with
uncertainty in model-based RL [1.370633147306388]
自然の目的は、環境のダイナミクスを正確に反映したモデルを学ぶことである。
本稿では,不確実性を考慮した強化学習エージェントによるモデルミス特定の問題について検討する。
本稿では,将来の状態と報酬の分布を学習するブートストラップ型マルチヘッドニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-15T15:41:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。