論文の概要: DebugAgent: Efficient and Interpretable Error Slice Discovery for Comprehensive Model Debugging

• arxiv url: http://arxiv.org/abs/2501.16751v1
• Date: Tue, 28 Jan 2025 07:08:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:42:39.886397
• Title: DebugAgent: Efficient and Interpretable Error Slice Discovery for Comprehensive Model Debugging
• Title（参考訳）: DebugAgent: 包括的なモデルデバッグのための効率的で解釈可能なエラースライス発見
• Authors: Muxi Chen, Chenchen Zhao, Qiang Xu,
• Abstract要約: DebugAgentは、エラースライス発見とモデル修復のための自動フレームワークです。 DebugAgentは最初にタスク固有の視覚属性を生成し、エラーを起こしやすいインスタンスをハイライトする。 次に、効率的なスライス列挙アルゴリズムを用いて、エラースライスを体系的に識別する。
• 参考スコア（独自算出の注目度）: 9.209104721371228
• License:
• Abstract: Despite the significant success of deep learning models in computer vision, they often exhibit systematic failures on specific data subsets, known as error slices. Identifying and mitigating these error slices is crucial to enhancing model robustness and reliability in real-world scenarios. In this paper, we introduce DebugAgent, an automated framework for error slice discovery and model repair. DebugAgent first generates task-specific visual attributes to highlight instances prone to errors through an interpretable and structured process. It then employs an efficient slice enumeration algorithm to systematically identify error slices, overcoming the combinatorial challenges that arise during slice exploration. Additionally, DebugAgent extends its capabilities by predicting error slices beyond the validation set, addressing a key limitation of prior approaches. Extensive experiments across multiple domains, including image classification, pose estimation, and object detection - show that DebugAgent not only improves the coherence and precision of identified error slices but also significantly enhances the model repair capabilities.
• Abstract（参考訳）: コンピュータビジョンにおけるディープラーニングモデルの成功にもかかわらず、それらはしばしばエラースライスとして知られる特定のデータサブセットに体系的な失敗を示す。 これらのエラースライスを特定して軽減することは、現実のシナリオにおけるモデルの堅牢性と信頼性を高めるために不可欠である。 本稿では,エラースライス発見とモデル修復のための自動フレームワークDebugAgentを紹介する。 DebugAgentはまずタスク固有の視覚属性を生成し、解釈可能で構造化されたプロセスを通じてエラーを起こしやすいインスタンスをハイライトする。 次に、効率的なスライス列挙アルゴリズムを用いて、スライス探索中に発生する組合せ的課題を克服し、エラースライスを体系的に識別する。 さらにDebugAgentは、バリデーションセットを超えてエラースライスを予測し、以前のアプローチの重要な制限に対処することで、その機能を拡張する。 画像分類、ポーズ推定、オブジェクト検出など、複数の領域にわたる大規模な実験は、DebugAgentが識別されたエラースライスのコヒーレンスと精度を向上するだけでなく、モデルの修復能力を著しく向上することを示している。

関連論文リスト

• Automatic Discovery and Assessment of Interpretable Systematic Errors in Semantic Segmentation [0.5242869847419834]
  本稿では,セグメンテーションモデルにおける体系的誤りを発見するための新しい手法を提案する。 マルチモーダル・ファンデーション・モデルを用いてエラーを検索し、誤った性質とともに概念的リンクを用いてこれらのエラーの体系的性質を研究する。 我々の研究は、これまでセマンティックセグメンテーションで過小評価されてきたモデル分析と介入への道を開く。
  論文  参考訳（メタデータ） (2024-11-16T17:31:37Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects [0.0]
  ODDObjectsは、COCOスタイルのデータセットでトレーニングされた教師なしオートエンコーダを使用して、さまざまなカテゴリの異常を検出するように設計されている。 このフレームワークはオートエンコーダによる異常検出に関する以前の作業を拡張し、オブジェクト認識データセットでトレーニングされた最先端のモデルを比較する。
  論文  参考訳（メタデータ） (2021-04-26T01:13:28Z)
• Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
  画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。 我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
  論文  参考訳（メタデータ） (2021-01-07T07:33:38Z)
• Adaptive Object Detection with Dual Multi-Label Prediction [78.69064917947624]
  本稿では,適応オブジェクト検出のための新しいエンド・ツー・エンドの非教師付き深部ドメイン適応モデルを提案する。 モデルはマルチラベル予測を利用して、各画像内の対象カテゴリ情報を明らかにする。 本稿では,オブジェクト検出を支援するための予測整合正則化機構を提案する。
  論文  参考訳（メタデータ） (2020-03-29T04:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。