論文の概要: DebugAgent: Efficient and Interpretable Error Slice Discovery for Comprehensive Model Debugging

• arxiv url: http://arxiv.org/abs/2501.16751v1
• Date: Tue, 28 Jan 2025 07:08:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 22:09:11.079603
• Title: DebugAgent: Efficient and Interpretable Error Slice Discovery for Comprehensive Model Debugging
• Title（参考訳）: DebugAgent: 包括的なモデルデバッグのための効率的で解釈可能なエラースライス発見
• Authors: Muxi Chen, Chenchen Zhao, Qiang Xu,
• Abstract要約: DebugAgentは、エラースライス発見とモデル修復のための自動フレームワークです。 DebugAgentは最初にタスク固有の視覚属性を生成し、エラーを起こしやすいインスタンスをハイライトする。 次に、効率的なスライス列挙アルゴリズムを用いて、エラースライスを体系的に識別する。
• 参考スコア（独自算出の注目度）: 9.209104721371228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the significant success of deep learning models in computer vision, they often exhibit systematic failures on specific data subsets, known as error slices. Identifying and mitigating these error slices is crucial to enhancing model robustness and reliability in real-world scenarios. In this paper, we introduce DebugAgent, an automated framework for error slice discovery and model repair. DebugAgent first generates task-specific visual attributes to highlight instances prone to errors through an interpretable and structured process. It then employs an efficient slice enumeration algorithm to systematically identify error slices, overcoming the combinatorial challenges that arise during slice exploration. Additionally, DebugAgent extends its capabilities by predicting error slices beyond the validation set, addressing a key limitation of prior approaches. Extensive experiments across multiple domains, including image classification, pose estimation, and object detection - show that DebugAgent not only improves the coherence and precision of identified error slices but also significantly enhances the model repair capabilities.
• Abstract（参考訳）: コンピュータビジョンにおけるディープラーニングモデルの成功にもかかわらず、それらはしばしばエラースライスとして知られる特定のデータサブセットに体系的な失敗を示す。 これらのエラースライスを特定して軽減することは、現実のシナリオにおけるモデルの堅牢性と信頼性を高めるために不可欠である。 本稿では,エラースライス発見とモデル修復のための自動フレームワークDebugAgentを紹介する。 DebugAgentはまずタスク固有の視覚属性を生成し、解釈可能で構造化されたプロセスを通じてエラーを起こしやすいインスタンスをハイライトする。 次に、効率的なスライス列挙アルゴリズムを用いて、スライス探索中に発生する組合せ的課題を克服し、エラースライスを体系的に識別する。 さらにDebugAgentは、バリデーションセットを超えてエラースライスを予測し、以前のアプローチの重要な制限に対処することで、その機能を拡張する。 画像分類、ポーズ推定、オブジェクト検出など、複数の領域にわたる大規模な実験は、DebugAgentが識別されたエラースライスのコヒーレンスと精度を向上するだけでなく、モデルの修復能力を著しく向上することを示している。

関連論文リスト

• Automatic Discovery and Assessment of Interpretable Systematic Errors in Semantic Segmentation [0.5242869847419834]
  本稿では,セグメンテーションモデルにおける体系的誤りを発見するための新しい手法を提案する。 マルチモーダル・ファンデーション・モデルを用いてエラーを検索し、誤った性質とともに概念的リンクを用いてこれらのエラーの体系的性質を研究する。 我々の研究は、これまでセマンティックセグメンテーションで過小評価されてきたモデル分析と介入への道を開く。
  論文  参考訳（メタデータ） (2024-11-16T17:31:37Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
  本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。 これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。 本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
  論文  参考訳（メタデータ） (2023-12-09T04:43:49Z)
• Uncovering the Limits of Machine Learning for Automatic Vulnerability Detection [12.529028629599349]
  本稿では,ML4VD技術の真の性能と限界をよりよく評価するための新しいベンチマーク手法を提案する。 6つのML4VD技術と2つのデータセットを使用して、(a)テストデータの脆弱性を予測するために、最先端のモデルが無関係な機能に過度に適合していること、(b)データ拡張によって得られるパフォーマンスが、トレーニング中に適用される特定の拡張を超えて一般化されないことを発見した。
  論文  参考訳（メタデータ） (2023-06-28T08:41:39Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Discovering Bugs in Vision Models using Off-the-shelf Image Generation and Captioning [25.88974494276895]
  この研究は、オフザシェルフ、大規模、画像からテキストへ、そしてテキストから画像へのモデルがどのように活用され、自動的に失敗を見つけるかを示す。 本質的には、条件付きテキスト・ツー・イメージ生成モデルを使用して、大量の合成的かつ現実的な入力を生成する。
  論文  参考訳（メタデータ） (2022-08-18T13:49:10Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• A Principled Approach to Failure Analysis and Model Repairment: Demonstration in Medical Imaging [12.732665048388041]
  マシンラーニングモデルは通常、デプロイ後の予期せぬ失敗を示す。 私たちは2つの重要な質問に答えることで、このプロセスの標準化と原則の導入を目指しています。 そこで本研究では,タイプ内および型間一般化の測定により,特定された障害タイプの品質を検証できることを示唆する。 我々は,以前に正しいデータの性能を維持しつつ,失敗タイプに対して高い精度を達成できた場合,モデルを修復すると考えることができると論じる。
  論文  参考訳（メタデータ） (2021-09-25T12:04:19Z)
• Reference-based Defect Detection Network [57.89399576743665]
  最初の問題はテクスチャシフトであり、これはトレーニングされた欠陥検出モデルが目に見えないテクスチャの影響を受けやすいことを意味する。 第2の問題は部分的な視覚的混乱であり、部分的な欠陥ボックスが完全なボックスと視覚的に類似していることを示している。 本稿では,これら2つの問題に対処する参照型欠陥検出ネットワーク(RDDN)を提案する。
  論文  参考訳（メタデータ） (2021-08-10T05:44:23Z)
• Distribution Alignment: A Unified Framework for Long-tail Visual Recognition [52.36728157779307]
  長尾視覚認識のための分散アライメント戦略を提案する。 次に,二段階学習における一般化された再重み付け法を導入して,事前のクラスバランスをとる。 提案手法は, 4つの認識タスクすべてにおいて, 単純で統一されたフレームワークを用いて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-03-30T14:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。