論文の概要: LLEXICORP: End-user Explainability of Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2511.02720v1
- Date: Tue, 04 Nov 2025 16:44:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 18:47:06.11352
- Title: LLEXICORP: End-user Explainability of Convolutional Neural Networks
- Title(参考訳): LLEXICORP:畳み込みニューラルネットワークのエンドユーザー説明可能性
- Authors: Vojtěch Kůr, Adam Bajger, Adam Kukučka, Marek Hradil, Vít Musil, Tomáš Brázdil,
- Abstract要約: 概念関連伝搬(CRP)法は、これらのチャネルに予測をバックトラックし、これらのチャネルを最も活性化する画像を見つけることができる。
専門家は、発見された概念に名前を付けるためにアクティベーションイメージを検査し、関連マップから冗長な説明を合成する必要がある。
提案手法は, 概念プロトタイプに記述名を自動的に割り当て, 自然言語による説明を生成する。
この結果から,概念に基づく帰属手法を大規模言語モデルに統合することで,ディープニューラルネットワークの解釈における障壁を大幅に低減できる可能性が示唆された。
- 参考スコア(独自算出の注目度): 4.417922173735815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural networks (CNNs) underpin many modern computer vision systems. With applications ranging from common to critical areas, a need to explain and understand the model and its decisions (XAI) emerged. Prior works suggest that in the top layers of CNNs, the individual channels can be attributed to classifying human-understandable concepts. Concept relevance propagation (CRP) methods can backtrack predictions to these channels and find images that most activate these channels. However, current CRP workflows are largely manual: experts must inspect activation images to name the discovered concepts and must synthesize verbose explanations from relevance maps, limiting the accessibility of the explanations and their scalability. To address these issues, we introduce Large Language model EXplaIns COncept Relevance Propagation (LLEXICORP), a modular pipeline that couples CRP with a multimodal large language model. Our approach automatically assigns descriptive names to concept prototypes and generates natural-language explanations that translate quantitative relevance distributions into intuitive narratives. To ensure faithfulness, we craft prompts that teach the language model the semantics of CRP through examples and enforce a separation between naming and explanation tasks. The resulting text can be tailored to different audiences, offering low-level technical descriptions for experts and high-level summaries for non-technical stakeholders. We qualitatively evaluate our method on various images from ImageNet on a VGG16 model. Our findings suggest that integrating concept-based attribution methods with large language models can significantly lower the barrier to interpreting deep neural networks, paving the way for more transparent AI systems.
- Abstract(参考訳): 畳み込みニューラルネットワーク(CNN)は多くの現代のコンピュータビジョンシステムを支える。
一般的な領域から重要な領域までの範囲で、モデルとその決定(XAI)を説明し、理解する必要がある。
以前の研究は、CNNの上位層では、個々のチャンネルは人間の理解できない概念を分類するものであると示唆していた。
概念関連伝搬(CRP)法は、これらのチャネルに予測をバックトラックし、これらのチャネルを最も活性化する画像を見つけることができる。
しかし、現在のCRPワークフローは大部分が手動で行われており、専門家は発見された概念を命名するためにアクティベーションイメージを検査し、関連するマップから冗長な説明を合成し、説明のアクセシビリティとスケーラビリティを制限しなければならない。
これらの問題に対処するために,CRPとマルチモーダルな大規模言語モデルを組み合わせたモジュールパイプラインであるLarge Language Model EXplaIns COncept Relevance Propagation (LLEXICORP)を紹介した。
提案手法は, 概念のプロトタイプに記述名を自動的に割り当て, 量的関連度分布を直感的な物語に変換する自然言語説明を生成する。
忠実性を確保するため、実例を通して言語モデルにCRPの意味論を教えるプロンプトを作成し、命名タスクと説明タスクの分離を強制する。
得られたテキストは、さまざまなオーディエンスに合わせることができ、専門家に低レベルの技術的な説明を提供し、非技術ステークホルダーに高レベルの要約を提供する。
VGG16モデルを用いて,ImageNetの様々な画像に対して定性的に評価を行った。
我々の研究結果は、概念に基づく帰属手法を大きな言語モデルに統合することで、ディープニューラルネットワークの解釈における障壁を大幅に減らし、より透明なAIシステムへの道を開くことを示唆している。
関連論文リスト
- Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。
神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。
私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
論文 参考訳(メタデータ) (2025-05-16T13:49:43Z) - VITAL: More Understandable Feature Visualization through Distribution Alignment and Relevant Information Flow [57.96482272333649]
機能可視化(FV)は、ニューロンが応答している情報をデコードするための強力なツールである。
本稿では,FVを原型画像の特徴の統計値と関連するネットワークフローの測定値を組み合わせることで,画像を生成することを提案する。
我々のアプローチは、最先端のFVに対して質的かつ定量的に改善される人間の理解可能な可視化をもたらす。
論文 参考訳(メタデータ) (2025-03-28T13:08:18Z) - Explainable Concept Generation through Vision-Language Preference Learning for Understanding Neural Networks' Internal Representations [7.736445799116692]
概念に基づく手法は、ディープニューラルネットワークをポストホックで説明するのに一般的な選択肢となっている。
視覚言語生成モデルを微調整する強化学習に基づく選好最適化アルゴリズムを考案する。
提案手法は,多様な概念を効率的にかつ確実に表現する能力を示す。
論文 参考訳(メタデータ) (2024-08-24T02:26:42Z) - Restyling Unsupervised Concept Based Interpretable Networks with Generative Models [14.604305230535026]
本稿では,事前学習された生成モデルの潜在空間に概念特徴をマッピングすることに依存する新しい手法を提案する。
本手法の有効性を,解釈可能な予測ネットワークの精度,再現性,学習概念の忠実性,一貫性の観点から定量的に検証した。
論文 参考訳(メタデータ) (2024-07-01T14:39:41Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳(メタデータ) (2024-06-14T13:12:07Z) - Manipulating Feature Visualizations with Gradient Slingshots [53.94925202421929]
特徴可視化(FV)は、ディープニューラルネットワーク(DNN)で学んだ概念を解釈するための広く使われている手法である。
本稿では,モデルアーキテクチャを変更したり,性能を著しく劣化させたりすることなくFVの操作を可能にする新しい手法,Gradient Slingshotsを提案する。
論文 参考訳(メタデータ) (2024-01-11T18:57:17Z) - Finding Representative Interpretations on Convolutional Neural Networks [43.25913447473829]
我々は、多数の類似画像に対して非常に代表的な解釈を生成するために、新しい教師なしのアプローチを開発する。
我々は,共クラスタリング問題として代表解釈を求める問題を定式化し,それをサブモジュラーコストのサブモジュラーカバー問題に変換する。
提案手法の優れた性能を示す実験を行った。
論文 参考訳(メタデータ) (2021-08-13T20:17:30Z) - A Peek Into the Reasoning of Neural Networks: Interpreting with
Structural Visual Concepts [38.215184251799194]
直感的な構造的視覚概念で分類NNを解釈するフレームワーク(VRX)を提案する。
ナレッジ蒸留によって、VRXはNNの推論プロセスを模倣する一歩を踏み出すことができることを示す。
論文 参考訳(メタデータ) (2021-05-01T15:47:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。