論文の概要: Emergent Goal-Directed Attention in Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2609.05517v1
- Date: Mon, 31 Aug 2026 15:00:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.080802
- Title: Emergent Goal-Directed Attention in Large Vision-Language Models
- Title(参考訳): 大規模視覚言語モデルにおける創発的ゴール指向の注意
- Abstract要約: 汎用視覚言語モデル(英語版) (VLM) は、視線固有の訓練を伴わずに、人間の協調的、ゴール指向の空間優先順位を生成できる。
これらの結果から,汎用VLMは視線固有の訓練を伴わずに,目標指向の空間的優先順位を人力で生成できることが示唆された。
- 参考スコア(独自算出の注目度): 3.2171716419695335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human observers prioritize visual information according to task goals. Most computational models of naturalistic viewing are gaze-trained for free viewing, leaving open whether goal-directed attention can emerge in systems without gaze supervision. We tested two off-the-shelf vision-language models (VLMs), Qwen3-VL-32B-Thinking and Gemma-4-26B-A4B-it, on 4,887 naturalistic scenes under visual-search and free-viewing instructions. Model predictions were compared with human fixations on the same images under corresponding tasks. Both models aligned more closely with human fixations under matching goals than under mismatched goals. This crossover persisted in target-absent scenes, where alignment could not be explained by simple visual grounding, and appeared in decoder-layer readouts. Furthermore, model-thinking traces were grounded in target semantics during search and in visual prominence during free viewing. These findings show that general-purpose VLMs can generate human-aligned, goal-directed spatial priorities without gaze-specific training, informing theories of goal-directed attention and offering scalable tools for predicting where people look across tasks.
- Abstract(参考訳): 人間のオブザーバは、タスク目標に応じて視覚情報を優先順位付けします。
自然主義的視聴のほとんどの計算モデルは、自由視聴のために視線訓練され、目標指向の注意が視線監督なしでシステムに現れるかどうかを未然に残している。
視覚探索および自由視聴指示下,4,887の自然主義シーンにおいて,市販の視覚言語モデル (VLM) , Qwen3-VL-32B-Thinking と Gemma-4-26B-A4B-it を試験した。
モデル予測は、対応するタスクの下で同じ画像上の人間の固定と比較した。
どちらのモデルも、不一致の目標よりも、一致した目標の下での人間の固定とより密に一致した。
この交差は、単純な視覚的接地によってアライメントを説明できず、デコーダ・レイヤ・リードアウトに現れるターゲット・アビデント・シーンに留まった。
さらに,探索中の対象意味論や自由視聴時の視覚的優位性にも,モデル思考の痕跡が根付いていた。
これらの結果から,汎用的なVLMは,視線特異的なトレーニングを伴わず,目標指向の注意理論を提示し,タスクを横切る方向を予測するためのスケーラブルなツールを提供することなく,協調的かつ目標指向の空間優先順位を生成できることが示唆された。
関連論文リスト
- TDSal: Task-Based Top-Down Saliency Prediction Model [0.0]
自然言語によるタスク記述に視覚的注意を喚起するモデルを提案する。
このモデルは、異なる視聴意図の下での注意のシフトを反映したタスク依存の正当性マップを生成する。
明示的なタスクセマンティクスを取り入れることで、目標指向の視覚的注意のより忠実なモデリングが可能になることを示す。
論文 参考訳(メタデータ) (2026-07-10T11:47:55Z) - Eyes on VLM: Benchmarking Gaze Following and Social Gaze Prediction in Vision Language Models [20.954224027029625]
視覚言語モデル(VLM)における視線理解のためのシステム評価フレームワークEyeVLMを提案する。
視線理解能力を評価するために,2つの中核課題に焦点をあてる。
第2の社会的視線予測は、多対人インタラクションに対する社会的および関係的な推論を必要とする。
論文 参考訳(メタデータ) (2026-05-19T13:50:40Z) - Envision: Embodied Visual Planning via Goal-Imagery Video Diffusion [61.63215708592008]
Embodied Visual Planningは、シーンが望ましい目標に向かってどのように進化するかを想像することで、操作タスクを可能にすることを目的としている。
ビデオ拡散モデルは、このような視覚的想像力の有望な基盤を提供する。
エージェントの視覚的計画を行う拡散型フレームワークであるEnvisionを提案する。
論文 参考訳(メタデータ) (2025-12-27T15:46:41Z) - GoViG: Goal-Conditioned Visual Navigation Instruction Generation [69.79110149746506]
本稿では,Goal-Conditioned Visual Navigation Instruction Generation (GoViG)を紹介する。
GoViGは生のエゴセントリックな視覚データのみを活用し、目に見えない非構造環境への適応性を大幅に改善する。
論文 参考訳(メタデータ) (2025-08-13T07:05:17Z) - From Sight to Insight: Unleashing Eye-Tracking in Weakly Supervised Video Salient Object Detection [60.11169426478452]
本稿では,弱い監督下での健全な物体の検出を支援するために,固定情報を導入することを目的とする。
特徴学習過程における位置と意味のガイダンスを提供するために,位置と意味の埋め込み (PSE) モジュールを提案する。
Intra-Inter Mixed Contrastive (MCII)モデルは、弱い監督下での時間的モデリング能力を改善する。
論文 参考訳(メタデータ) (2025-06-30T05:01:40Z) - Imagine, Verify, Execute: Memory-guided Agentic Exploration with Vision-Language Models [81.08295968057453]
本稿では,人間の好奇心に触発されたエージェント探索フレームワークIVEを紹介する。
シミュレーションおよび実世界のテーブルトップ環境におけるIVEの評価を行った。
論文 参考訳(メタデータ) (2025-05-12T17:59:11Z) - VSP: Assessing the dual challenges of perception and reasoning in spatial planning tasks for VLMs [102.36953558562436]
視覚言語モデル(VLM)は、エキサイティングな言語モデル(LM)のクラスである。
VLMの未調査能力の1つは、視覚空間計画である。
本研究は,これらのモデルにおける空間計画能力を概ね評価するベンチマークを提案する。
論文 参考訳(メタデータ) (2024-07-02T00:24:01Z) - Top-Down Visual Attention from Analysis by Synthesis [87.47527557366593]
我々は、古典的分析・合成(AbS)の視覚的視点からトップダウンの注意を考察する。
本稿では,AbSを変動的に近似したトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。
論文 参考訳(メタデータ) (2023-03-23T05:17:05Z) - Unifying Top-down and Bottom-up Scanpath Prediction Using Transformers [40.27531644565077]
本研究では,注意制御の両形態を予測する単一モデルであるヒューマン・アテンション・トランスフォーマー(HAT)を提案する。
HATは、有効性、一般性、解釈可能性を強調する、計算的注意の新たな標準を定めている。
論文 参考訳(メタデータ) (2023-03-16T15:13:09Z) - Simulating Human Gaze with Neural Visual Attention [44.65733084492857]
我々は、下流の視覚課題のガイダンスをアテンション・モデリングに統合するニューラル・ビジュアル・アテンション(NeVA)アルゴリズムを提案する。
我々は、生物学的に制約されたニューラルネットワークが、この目的のために訓練されることなく、人間の様のスキャンパスを生成することを観察する。
論文 参考訳(メタデータ) (2022-11-22T09:02:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。