論文の概要: BrainFocus: EEG-Guided ROI Selection for Efficient Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.17443v1
• Date: Tue, 15 Sep 2026 16:51:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.629194
• Title: BrainFocus: EEG-Guided ROI Selection for Efficient Vision-Language Models
• Title（参考訳）: BrainFocus: 効率的なビジョンランゲージモデルのための脳波誘導ROI選択
• Abstract要約: 視覚言語モデル(VLM)は、強い視覚的質問応答(VQA)性能を達成する。 小さい領域だけが関係している場合、大きな乱雑な画像を処理するのに計算コストがかかる。 視覚刺激に対する人間の神経反応を捉える脳波信号は、関心領域に関する人間由来のセマンティックキューを提供する。 VQAのための信頼性の高い脳波誘導型効率的なVLMフレームワークであるBrainFocusを提案する。
• 参考スコア（独自算出の注目度）: 2.006133065928159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) achieve strong visual question answering (VQA) performance, but processing large cluttered images is computationally expensive when only a small region is relevant. Electroencephalography (EEG) signals, which capture human neural responses to visual stimuli, can provide a human-derived semantic cue about the region of interest (ROI). However, EEG-guided visual category decoding remains imperfect, making direct ROI routing unreliable. In this work, we propose BrainFocus, a reliable EEG-guided efficient VLM framework for VQA. An EEG classifier predicts a target category, and a YOLO detector localizes the matching ROI. The VLM receives the cropped ROI only when both predictions pass confidence thresholds; otherwise, it processes the full image. For evaluation, we build on EEG-ImageNet to construct a 40-class benchmark comprising generated cluttered images and real object-centric images, with target-ROI annotations and 600 English visual question-answer pairs. Across Qwen3.5-VL 2B, 4B, and 9B models, BrainFocus improves VQA accuracy by 4.14-9.87 percentage points (pp) on cluttered scenes while reducing input tokens and total tokens by 23.2%-39.4% and 23.2%-39.3%, and end-to-end floating-point operations (FLOPs) by 23.2%-39.5%. These results demonstrate that EEG can guide efficient VLM inference even when its semantic decoding is imperfect.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、強い視覚的質問応答(VQA)性能を達成するが、小さな領域のみに関連する場合、大きな乱雑な画像の処理は計算コストがかかる。 視覚刺激に対する人間の神経反応を捉える脳波(EEG)信号は、関心領域(ROI)に関する人間由来のセマンティックキューを提供する。 しかし、脳波誘導型視覚カテゴリー復号法は依然として不完全であり、直接ROIルーティングは信頼性が低い。 本稿では、VQAのための信頼性の高い脳波誘導型効率的なVLMフレームワークBrainFocusを提案する。 EEG分類器は対象カテゴリを予測し、YOLO検出器は一致するROIをローカライズする。 VLMは、両方の予測が信頼しきい値を超える場合にのみ、収穫されたROIを受け取り、そうでなければ、完全なイメージを処理する。 評価のために、EEG-ImageNetを用いて、生成された乱雑な画像と実際のオブジェクト中心の画像からなる40クラスのベンチマークを構築する。 Qwen3.5-VL 2B、4B、9Bモデル全体で、BrainFocusは、入力トークンと合計トークンを23.2%-39.4%、23.2%-39.3%、エンドツーエンド浮動小数点演算(FLOP)を23.2%-39.5%削減しながら、散開シーンでのVQA精度を4.14-9.87ポイント(pp)改善した。 これらの結果から, セマンティックデコーディングが不完全であっても, 脳波が効率的なVLM推論を導出できることが示唆された。

関連論文リスト

• What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment [16.54359569394021]
  脳の反応を視覚的セマンティックな埋め込みと整合させるための統合型多視点脳波表現学習フレームワークを提案する。 提案手法は,物体内部設定において54.8%のTop-1,85.6%のTop-5,クロスオブジェクト設定では15.3%のTop-1,45.4%のTop-5の精度を有する。
  論文  参考訳（メタデータ） (2026-06-24T11:33:21Z)
• Rethinking VLMs for Image Forgery Detection and Localization [55.32700985102152]
  本稿では,視覚言語モデル(VLM)をフル活用して画像偽造検出・局所化(IFDL)タスクを支援する方法について検討する。 これらの知見に基づいて,IFDL-VLMと呼ばれる新しいIFDLパイプラインを提案する。 実験結果から, 検出, 局所化, 解釈可能性において, 常に新しい最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-03-13T12:21:31Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• ERGO: Efficient High-Resolution Visual Understanding for Vision-Language Models [11.263321053154364]
  ERGOは推論駆動の知覚平均化マルチモーダルコンテキストで、どこにフォーカスするかを決定する。 我々は、粗大な知覚のための強化学習フレームワークにおいて、単純で効果的な報酬成分を開発する。 提案手法は,従来のモデルや競合手法よりも精度が高く,効率が向上する。
  論文  参考訳（メタデータ） (2025-09-26T07:15:19Z)
• Eye Gaze Tells You Where to Compute: Gaze-Driven Efficient VLMs [1.985072438058346]
  本稿では、人間の視線を天然の監視信号として利用し、それが重要な位置を割り振る学習自由フレームワークであるGazeVLMを提案する。 以上の結果から,モデル計算と人間の視線との整合性は,消費者デバイス上での効率的なVLM推論への簡単なプラグアンドプレイパスを提供することが示された。
  論文  参考訳（メタデータ） (2025-09-20T00:16:48Z)
• CATVis: Context-Aware Thought Visualization [2.8298952038412706]
  脳波信号から視覚表現を復号するための新しい5段階フレームワークを提案する。 我々は、クロスモーダルアライメントと再ランク付けにより、コンテキスト対応の脳波画像生成を可能にする。 実験の結果,視覚刺激に合わせた高品質な画像が得られた。
  論文  参考訳（メタデータ） (2025-07-15T17:47:01Z)
• Probing Visual Language Priors in VLMs [51.016683265437536]
  我々は,意図的に分布外画像を特徴付けるベンチマークであるViLPを紹介した。 ViLPの各質問には、3つの潜在的な答えと3つの対応するイメージが結合される。 本稿では,モデルが新たなVQAデータを生成し,ピクセルレベルおよびセマンティックな汚職を適用して,自己学習のための「良いバッド」画像ペアを生成する自己改善フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-31T17:54:29Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。