論文の概要: Explaining Low Perception Model Competency with High-Competency Counterfactuals
- arxiv url: http://arxiv.org/abs/2504.05254v1
- Date: Mon, 07 Apr 2025 16:46:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 14:50:14.879461
- Title: Explaining Low Perception Model Competency with High-Competency Counterfactuals
- Title（参考訳）: 高コンピテンシーを考慮した低知覚モデル能力の解説
- Authors: Sara Pohland, Claire Tomlin,
- Abstract要約: 我々は,高能率対実画像を生成する5つの新しい手法を開発した。
我々は、Reco、LGD、LNNを、対実生成の最も有望な方法であると評価した。
言語モデルクエリに反実画像を含めることで、モデルが正確な説明を生成する能力が大きく向上することがわかった。
- 参考スコア（独自算出の注目度）: 0.10923877073891446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There exist many methods to explain how an image classification model generates its decision, but very little work has explored methods to explain why a classifier might lack confidence in its prediction. As there are various reasons the classifier might lose confidence, it would be valuable for this model to not only indicate its level of uncertainty but also explain why it is uncertain. Counterfactual images have been used to visualize changes that could be made to an image to generate a different classification decision. In this work, we explore the use of counterfactuals to offer an explanation for low model competency--a generalized form of predictive uncertainty that measures confidence. Toward this end, we develop five novel methods to generate high-competency counterfactual images, namely Image Gradient Descent (IGD), Feature Gradient Descent (FGD), Autoencoder Reconstruction (Reco), Latent Gradient Descent (LGD), and Latent Nearest Neighbors (LNN). We evaluate these methods across two unique datasets containing images with six known causes for low model competency and find Reco, LGD, and LNN to be the most promising methods for counterfactual generation. We further evaluate how these three methods can be utilized by pre-trained Multimodal Large Language Models (MLLMs) to generate language explanations for low model competency. We find that the inclusion of a counterfactual image in the language model query greatly increases the ability of the model to generate an accurate explanation for the cause of low model competency, thus demonstrating the utility of counterfactual images in explaining low perception model competency.
- Abstract（参考訳）: 画像分類モデルがその決定をいかに生み出すかを説明する方法は数多く存在するが、なぜ分類器がその予測に自信を欠いているのかを説明する方法についてはほとんど研究されていない。
分類器が信頼を失う様々な理由があるので、このモデルがその不確実性のレベルを示すだけでなく、なぜ不確実かを説明することにも価値がある。
対物画像は、異なる分類決定を生成するために、画像にできる変更を可視化するために使われてきた。
本研究は,信頼度を測る予測の不確実性の一般化形態である低モデル能力の説明を提供するために,反事実の利用について検討する。
この目的のために、高能率対物画像を生成する5つの新しい方法、すなわち、画像のグラディエント・ディファイア(IGD)、特徴のグラディエント・ディファイア(FGD)、オートエンコーダ・リコンストラクション(Reco)、遅延のグラディエント・ディファイア(LGD)、LNN(Latent Nearest Neighbors)を開発した。
低モデル能力の6つの既知の原因を持つ画像を含む2つのユニークなデータセットに対してこれらの手法を評価し、Reco、LGD、LNNが対実生成の最も有望な方法であることを示す。
さらに,これらの3つの手法をMLLM(Multimodal Large Language Models)を用いて,低モデル能力のための言語説明を生成する方法について検討した。
言語モデルクエリに対物画像を含めることで、モデルが低モデル能力の原因を正確に説明できる能力が大きく向上し、低知覚モデル能力を説明する上で、対物画像の有用性が実証された。
関連論文リスト
- Understanding the Dependence of Perception Model Competency on Regions in an Image [0.10923877073891446]
低モデル能力に寄与する入力画像内の領域を特定する5つの方法を示す。
その結果,低モデル能力に関連する領域を特定する上で,能力勾配と復元損失法が有望であることが判明した。
論文 参考訳（メタデータ） (2024-07-15T08:50:13Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。
DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
論文 参考訳（メタデータ） (2024-05-24T05:46:04Z) - DiG-IN: Diffusion Guidance for Investigating Networks -- Uncovering Classifier Differences Neuron Visualisations and Visual Counterfactual Explanations [35.458709912618176]
ディープラーニングは、ImageNetのような複雑な画像分類タスク、予期せぬ障害モード、例えばスプリアス機能などに大きな進歩をもたらした。
安全クリティカルなタスクでは、その決定のブラックボックスの性質は問題であり、説明や少なくとも意思決定を行う方法が緊急に必要である。
本稿では,これらの問題に対して,ガイド画像生成のためのフレームワークを用いて分類器由来の目的を最適化した画像を生成する。
論文 参考訳（メタデータ） (2023-11-29T17:35:29Z) - Traditional Classification Neural Networks are Good Generators: They are
Competitive with DDPMs and GANs [104.72108627191041]
従来のニューラルネットワーク分類器は、最先端の生成モデルに匹敵する高品質な画像を生成することができることを示す。
マスクをベースとした再構成モジュールを提案し, 意味的勾配を意識し, 可視画像の合成を行う。
また,本手法は,画像テキスト基盤モデルに関して,テキスト・画像生成にも適用可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T11:25:35Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - Who Explains the Explanation? Quantitatively Assessing Feature
Attribution Methods [0.0]
本稿では,説明の忠実度を定量化するための新しい評価指標であるフォーカス(Focus)を提案する。
ランダム化実験によって測定値のロバスト性を示し、次にFocusを用いて3つの一般的な説明可能性手法を評価し比較する。
実験の結果,LRPとGradCAMは一貫性があり信頼性が高いことがわかった。
論文 参考訳（メタデータ） (2021-09-28T07:10:24Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳（メタデータ） (2021-03-18T12:57:34Z) - Counterfactual Generative Networks [59.080843365828756]
画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。
適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。
その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
論文 参考訳（メタデータ） (2021-01-15T10:23:12Z) - Explainable Image Classification with Evidence Counterfactual [0.0]
画像分類のためのモデルに依存しないインスタンスレベルの説明法としてSEDCを導入する。
ある画像に対して、SEDCは、削除された場合、分類を変更する小さなセグメントの集合を検索する。
我々は,SEDC(-T) と LRP, LIME, SHAP などの特徴重要度評価手法を比較し, 上記の重要度ランキング問題にどう対処するかを述べる。
論文 参考訳（メタデータ） (2020-04-16T08:02:48Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。