論文の概要: PRIME: Prioritizing Interpretability in Failure Mode Extraction

• arxiv url: http://arxiv.org/abs/2310.00164v2
• Date: Thu, 14 Mar 2024 04:29:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 02:42:46.530289
• Title: PRIME: Prioritizing Interpretability in Failure Mode Extraction
• Title（参考訳）: PRIME:障害モード抽出における解釈可能性の優先順位付け
• Authors: Keivan Rezaei, Mehrdad Saberi, Mazda Moayeri, Soheil Feizi,
• Abstract要約: 訓練された画像分類モデルにおいて、故障モードに対する人間の理解可能な記述を提供することの課題について検討する。 本稿では,この問題における解釈可能性を重視した新しい手法を提案する。 本手法は,障害モードの同定に成功し,それに関連する高品質なテキスト記述を生成する。
• 参考スコア（独自算出の注目度）: 49.93565079216376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we study the challenge of providing human-understandable descriptions for failure modes in trained image classification models. Existing works address this problem by first identifying clusters (or directions) of incorrectly classified samples in a latent space and then aiming to provide human-understandable text descriptions for them. We observe that in some cases, describing text does not match well with identified failure modes, partially owing to the fact that shared interpretable attributes of failure modes may not be captured using clustering in the feature space. To improve on these shortcomings, we propose a novel approach that prioritizes interpretability in this problem: we start by obtaining human-understandable concepts (tags) of images in the dataset and then analyze the model's behavior based on the presence or absence of combinations of these tags. Our method also ensures that the tags describing a failure mode form a minimal set, avoiding redundant and noisy descriptions. Through several experiments on different datasets, we show that our method successfully identifies failure modes and generates high-quality text descriptions associated with them. These results highlight the importance of prioritizing interpretability in understanding model failures.
• Abstract（参考訳）: 本研究では,訓練された画像分類モデルにおいて,故障モードに対する人間の理解可能な記述を提供することの課題について検討する。 既存の研究は、まず不正確な分類されたサンプルのクラスタ(または方向)を潜在空間で識別し、人間に理解可能なテキスト記述を提供することによってこの問題に対処する。 テキストの記述が特定された障害モードとうまく一致しないケースもあるが、これは部分的には、障害モードの共有解釈可能な属性が機能領域のクラスタリングを使って取得できないためである。 これらの欠点を改善するために、我々は、まずデータセット内の画像の人間の理解可能な概念(タグ)を取得し、これらのタグの組み合わせの有無に基づいてモデルの振る舞いを分析することから、この問題における解釈可能性の優先順位付けを行う新しいアプローチを提案する。 また、障害モードを記述するタグが最小限の集合を形成し、冗長でノイズの多い記述を避けることも保証している。 提案手法は,異なるデータセットに対するいくつかの実験を通じて,障害モードの同定に成功し,それに関連する高品質なテキスト記述を生成する。 これらの結果は、モデルの失敗を理解する上での解釈可能性の優先順位付けの重要性を強調している。

関連論文リスト

• What could go wrong? Discovering and describing failure modes in computer vision [27.6114923305978]
  言語に基づく誤り説明可能性(LBEE)の問題を定式化する。 我々は,共同視覚・言語埋め込み空間で機能するソリューションを提案する。 提案手法は,特定の誤りの原因に関連する非自明な文を分離する。
  論文  参考訳（メタデータ） (2024-08-08T14:01:12Z)
• Progressive Alignment with VLM-LLM Feature to Augment Defect Classification for the ASE Dataset [7.1083241462091165]
  従来の欠陥分類アプローチは2つの障壁に直面している。 不十分なトレーニングデータと不安定なデータ品質。 画像上に記録されたリッチなデータ記述を含む,欠陥分類のための特別なデータセットを提案するが,欠陥特徴を直接学習するのは困難である。
  論文  参考訳（メタデータ） (2024-04-08T04:17:27Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Label-Descriptive Patterns and their Application to Characterizing Classification Errors [31.272875287136426]
  最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。 これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。 本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T19:42:21Z)
• Semi-supervised Semantic Segmentation with Directional Context-aware Consistency [66.49995436833667]
  我々は、ラベル付きデータの小さなセットに、全くラベル付けされていない画像のより大きなコレクションを提供する半教師付きセグメンテーション問題に焦点をあてる。 好ましいハイレベル表現は、自己認識を失わずにコンテキスト情報をキャプチャするべきである。 我々は,DCロス(Directional Contrastive Loss)を画素対ピクセルの整合性を達成するために提示する。
  論文  参考訳（メタデータ） (2021-06-27T03:42:40Z)
• Understanding Failures of Deep Networks via Robust Feature Extraction [44.204907883776045]
  本研究では,視覚的特徴を識別し,不在や不在がパフォーマンスの低下を招き,失敗を特徴づけ,説明することを目的とした手法を紹介し,検討する。 我々は、分離されたロバストモデルの表現を活用して、解釈可能な特徴を抽出し、これらの特徴を利用して障害モードを特定します。
  論文  参考訳（メタデータ） (2020-12-03T08:33:29Z)
• Automatically Discovering and Learning New Visual Categories with Ranking Statistics [145.89790963544314]
  我々は,他のクラスをラベル付けした画像コレクションにおいて,新しいクラスを発見する問題に対処する。 汎用クラスタリングモデルを学び、後者を用いて、非競合データ中の新しいクラスを識別する。 我々は,標準分類ベンチマークに対するアプローチと,新しいカテゴリー発見法の性能を,有意なマージンで評価した。
  論文  参考訳（メタデータ） (2020-02-13T18:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。