論文の概要: NeuronEye: Query-Guided Visual Concept Activation for Vision-Language Reasoning

• arxiv url: http://arxiv.org/abs/2609.38098v1
• Date: Tue, 29 Sep 2026 17:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.80216
• Title: NeuronEye: Query-Guided Visual Concept Activation for Vision-Language Reasoning
• Title（参考訳）: NeuronEye:視覚言語推論のためのクエリガイド型ビジュアルコンセプトアクティベーション
• Abstract要約: 本稿では,中間的なVLM表現から疎結合な概念レベルのニューロン語彙を構築するプラグインフレームワークであるNeuronEyeを紹介する。 Qwen2.5-VL-7Bでは、NeuronEyeはCV-Bench全体の精度を+3.1、Distanceは+9.5、BLINK Multi-viewは+8.3、LLaVA-1.6-7Bも同様である。 これらの結果から, スパースニューロンの語彙は, ポストホック・インタープリタビリティー・ツールとしてだけでなく, 概念レベルの視覚的推論のための能動的インタフェースとしても機能することが示唆された。
• 参考スコア（独自算出の注目度）: 9.800820557513925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current vision-language models (VLMs) encode visual information in dense hidden states where object identity, spatial layout, and local attributes are implicitly entangled rather than explicitly disentangled, limiting their ability to isolate and modulate the specific visual evidence required by a given language query. Inspired by sparse population coding and top-down modulation in biological vision, we introduce NeuronEye, a plug-in framework that constructs a sparse, concept-level neuron vocabulary from intermediate VLM representations and selectively activates query-relevant visual concepts during inference. NeuronEye decomposes vision-token states into an overcomplete sparse basis organized by concept-level clusters, uses the language query to activate relevant clusters and localize the patches where selected concepts are expressed, and injects the focused evidence back into vision tokens. A complementary suppression mechanism attenuates dominant perceptual directions to preserve weaker but relevant cues. All operations run in a single forward pass over a frozen VLM backbone. On Qwen2.5-VL-7B, NeuronEye raises CV-Bench overall accuracy by +3.1 with gains of +9.5 on Distance, and improves BLINK Multi-view by +8.3, with similar trends on LLaVA-1.6-7B. These results suggest that sparse neuron vocabularies can serve not only as post-hoc interpretability tools but also as active interfaces for concept-level visual reasoning.
• Abstract（参考訳）: 現在の視覚言語モデル(VLM)は、オブジェクトのアイデンティティ、空間的レイアウト、局所的な属性が明示的に絡み合っているのではなく、暗黙的に絡み合っていて、与えられた言語クエリによって要求される特定の視覚的証拠を分離・調整する能力を制限する。 生体視覚におけるスパース集団符号化とトップダウン変調にインスパイアされたNeuronEyeは、中間的なVLM表現からスパースで概念レベルのニューロンボキャブラリを構築し、推論中にクエリ関連視覚概念を選択的に活性化するプラグインフレームワークである。 NeuronEyeは、概念レベルのクラスタによって構成された過度に完全なスパースベースに分解し、言語クエリを使用して関連するクラスタをアクティベートし、選択された概念が表現されたパッチをローカライズし、集中したエビデンスを視覚トークンに注入する。 補完的な抑制機構は、より弱いが関連する手がかりを維持するために支配的な知覚方向を弱める。 すべての操作は、凍結したVLMバックボーン上で単一のフォワードパスで実行される。 Qwen2.5-VL-7Bでは、NeuronEyeはCV-Bench全体の精度を+3.1、Distanceは+9.5、BLINK Multi-viewは+8.3、LLaVA-1.6-7Bも同様である。 これらの結果から, スパースニューロンの語彙は, ポストホック・インタープリタビリティー・ツールとしてだけでなく, 概念レベルの視覚的推論のための能動的インタフェースとしても機能することが示唆された。

関連論文リスト

• Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens [54.18057944158818]
  Chain-of-Visual-Thought (COVT)は、ビジョンランゲージモデル(VLM)が連続的な視覚トークンを通じて推論できるようにするフレームワークである。 約20枚のトークンからなる小さな予算の中で、COVTは軽量ビジョンの専門家から知識を抽出する。 トレーニング中、COVTを持つVLMは視覚トークンを自動回帰予測し、密集した監視信号を再構築する。
  論文  参考訳（メタデータ） (2025-11-24T18:55:19Z)
• VL-SAE: Interpreting and Enhancing Vision-Language Alignment with a Unified Concept Set [80.50996301430108]
  視覚言語表現のアライメントは、強いマルチモーダル推論能力を持つ現在のビジョン言語モデルを実現する。 視覚言語表現をその隠れアクティベーションにエンコードするスパースオートエンコーダVL-SAEを提案する。 解釈において、視覚と言語表現のアライメントは、意味論と概念を比較することで理解することができる。
  論文  参考訳（メタデータ） (2025-10-24T10:29:31Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Finding Shared Decodable Concepts and their Negations in the Brain [4.111712524255376]
  我々は、自然視画像観察中に脳の反応をCLIP埋め込みにマッピングする非常に正確なコントラストモデルを訓練する。 次に、DBSCANクラスタリングアルゴリズムの新たな適応を用いて、参加者固有のコントラストモデルパラメータをクラスタリングする。 各SDCクラスタに最も多く,最も関連付けられていない画像を調べることで,各SDCのセマンティック特性についてさらなる知見が得られる。
  論文  参考訳（メタデータ） (2024-05-27T21:28:26Z)
• Investigating the Encoding of Words in BERT's Neurons using Feature Textualization [11.943486282441143]
  本稿では,埋め込み語空間におけるニューロンの表現を生成する手法を提案する。 生成した表現は、個々のニューロンにおける符号化された知識についての洞察を与えることができる。
  論文  参考訳（メタデータ） (2023-11-14T15:21:49Z)
• DISCOVER: Making Vision Networks Interpretable via Competition and Dissection [11.028520416752325]
  この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
  論文  参考訳（メタデータ） (2023-10-07T21:57:23Z)
• DeViL: Decoding Vision features into Language [53.88202366696955]
  ポストホックな説明法は、ディープニューラルネットワークの意思決定プロセスを抽象化するためにしばしば批判されてきた。 この研究では、ビジョンバックボーンの異なるレイヤが学んだことについて、自然言語で記述したいと考えています。 我々は、トランスフォーマーネットワークをトレーニングし、任意の視覚層の個々の画像特徴を、分離した既製の言語モデルが自然言語に復号するプロンプトに変換する。
  論文  参考訳（メタデータ） (2023-09-04T13:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。