論文の概要: LINE: LLM-based Iterative Neuron Explanations for Vision Models
- arxiv url: http://arxiv.org/abs/2604.08039v1
- Date: Thu, 09 Apr 2026 09:43:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.849013
- Title: LINE: LLM-based Iterative Neuron Explanations for Vision Models
- Title(参考訳): ライン:LLMを用いた視覚モデルのための反復ニューロン記述法
- Authors: Vladimir Zaigrajew, Michał Piechota, Gaspar Sekula, Przemysław Biecek,
- Abstract要約: 我々は、オープン語彙の概念を視覚モデルにラベル付けするためのトレーニング不要な反復的アプローチであるLINEを紹介した。
LINEは複数のモデルアーキテクチャで最先端のパフォーマンスを実現しており、ImageNetでは0.18、Places365では0.05に改善されている。
LINEは完全な生成履歴を提供し、多意味性の評価を可能にし、勾配に依存したアクティベーションメソッドと競合する視覚的説明を生成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interpreting the concepts encoded by individual neurons in deep neural networks is a crucial step towards understanding their complex decision-making processes and ensuring AI safety. Despite recent progress in neuron labeling, existing methods often limit the search space to predefined concept vocabularies or produce overly specific descriptions that fail to capture higher-order, global concepts. We introduce LINE, a novel, training-free iterative approach tailored for open-vocabulary concept labeling in vision models. Operating in a strictly black-box setting, LINE leverages a large language model and a text-to-image generator to iteratively propose and refine concepts in a closed loop, guided by activation history. We demonstrate that LINE achieves state-of-the-art performance across multiple model architectures, yielding AUC improvements of up to 0.18 on ImageNet and 0.05 on Places365, while discovering, on average, 29% of new concepts missed by massive predefined vocabularies. Beyond identifying the top concept, LINE provides a complete generation history, which enables polysemanticity evaluation and produces supporting visual explanations that rival gradient-dependent activation maximization methods.
- Abstract(参考訳): ディープニューラルネットワークで個々のニューロンによって符号化された概念を解釈することは、複雑な意思決定プロセスを理解し、AIの安全性を確保するための重要なステップである。
近年のニューロンラベリングの進歩にもかかわらず、既存の手法では、探索空間を事前に定義された概念語彙に制限したり、高次でグローバルな概念を捉えるのに失敗する過度に特定の記述を生成することがある。
我々は、オープン語彙の概念を視覚モデルにラベル付けするための、新しい、トレーニング不要な反復的アプローチであるLINEを紹介した。
LINEは、厳密にブラックボックスの設定で動作し、大きな言語モデルとテキスト・ツー・イメージ・ジェネレータを活用して、アクティベーション・ヒストリでガイドされたクローズドループの概念を反復的に提案し、洗練する。
我々は、LINEが複数のモデルアーキテクチャで最先端のパフォーマンスを実現し、ImageNetで最大0.18、Places365で最大0.05の改善を実現し、同時に、大量の事前定義された語彙で見逃された新しい概念の29%を発見できることを示した。
トップの概念を識別する以外に、LINEは完全な生成履歴を提供し、多意味性の評価を可能にし、勾配依存のアクティベーション最大化手法に匹敵する視覚的説明を生成する。
関連論文リスト
- Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition [81.2779530670268]
VLM(Vision-Language Models)は、ゼロショット画像認識を著しく進歩させたモデルである。
本稿では、クラス固有の概念を取り入れることで、プロンプトを強化する。
我々の手法は一貫して最先端の手法より優れている。
論文 参考訳(メタデータ) (2026-03-09T03:11:11Z) - LLEXICORP: End-user Explainability of Convolutional Neural Networks [4.417922173735815]
概念関連伝搬(CRP)法は、これらのチャネルに予測をバックトラックし、これらのチャネルを最も活性化する画像を見つけることができる。
専門家は、発見された概念に名前を付けるためにアクティベーションイメージを検査し、関連マップから冗長な説明を合成する必要がある。
提案手法は, 概念プロトタイプに記述名を自動的に割り当て, 自然言語による説明を生成する。
この結果から,概念に基づく帰属手法を大規模言語モデルに統合することで,ディープニューラルネットワークの解釈における障壁を大幅に低減できる可能性が示唆された。
論文 参考訳(メタデータ) (2025-11-04T16:44:45Z) - Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。
神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。
私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
論文 参考訳(メタデータ) (2025-05-16T13:49:43Z) - OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。
我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。
提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
論文 参考訳(メタデータ) (2024-12-16T18:59:52Z) - Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか?
ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。
さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
論文 参考訳(メタデータ) (2024-10-31T17:09:55Z) - Explainable Concept Generation through Vision-Language Preference Learning for Understanding Neural Networks' Internal Representations [7.736445799116692]
概念に基づく手法は、ディープニューラルネットワークをポストホックで説明するのに一般的な選択肢となっている。
視覚言語生成モデルを微調整する強化学習に基づく選好最適化アルゴリズムを考案する。
提案手法は,多様な概念を効率的にかつ確実に表現する能力を示す。
論文 参考訳(メタデータ) (2024-08-24T02:26:42Z) - Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳(メタデータ) (2024-07-19T17:50:11Z) - Restyling Unsupervised Concept Based Interpretable Networks with Generative Models [14.604305230535026]
本稿では,事前学習された生成モデルの潜在空間に概念特徴をマッピングすることに依存する新しい手法を提案する。
本手法の有効性を,解釈可能な予測ネットワークの精度,再現性,学習概念の忠実性,一貫性の観点から定量的に検証した。
論文 参考訳(メタデータ) (2024-07-01T14:39:41Z) - LLM-assisted Concept Discovery: Automatically Identifying and Explaining Neuron Functions [15.381209058506078]
以前の研究は、概念の例や事前に定義された概念のセットに基づいて、ニューロンに関連づけられた概念を持っている。
本稿では,マルチモーダルな大規模言語モデルを用いて,自動的かつオープンな概念発見を提案する。
我々は,この新たな画像に対して,サンプルと反例を生成し,ニューロンの反応を評価することにより,それぞれの概念を検証する。
論文 参考訳(メタデータ) (2024-06-12T18:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。