論文の概要: From Scene to Object: Text-Guided Dual-Gaze Prediction

• arxiv url: http://arxiv.org/abs/2604.20191v1
• Date: Wed, 22 Apr 2026 05:11:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.972693
• Title: From Scene to Object: Text-Guided Dual-Gaze Prediction
• Title（参考訳）: シーンからオブジェクトへ:テキストガイドによるデュアルゲイズ予測
• Abstract要約: 解釈可能なドライバーの注意予測は、人間のような自動運転にとって不可欠である。 既存のデータセットは、微粒なオブジェクトレベルのアノテーションではなく、シーンレベルのグローバルな視線のみを提供する。 本稿では,データ構築からモデルアーキテクチャへの完全なパラダイムを確立するための,新しいデュアルブランチの視線予測フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.32439183328327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretable driver attention prediction is crucial for human-like autonomous driving. However, existing datasets provide only scene-level global gaze rather than fine-grained object-level annotations, inherently failing to support text-grounded cognitive modeling. Consequently, while Vision-Language Models (VLMs) hold great potential for semantic reasoning, this critical data limitations leads to severe text-vision decoupling and visual-bias hallucinations. To break this bottleneck and achieve precise object-level attention prediction, this paper proposes a novel dual-branch gaze prediction framework, establishing a complete paradigm from data construction to model architecture. First, we construct G-W3DA, a object-level driver attention dataset. By integrating a multimodal large language model with the Segment Anything Model 3 (SAM3), we decouple macroscopic heatmaps into object-level masks under rigorous cross-validation, fundamentally eliminating annotation hallucinations. Building upon this high-quality data foundation, we propose the DualGaze-VLM architecture. This architecture extracts the hidden states of semantic queries and dynamically modulates visual features via a Condition-Aware SE-Gate, achieving intent-driven precise spatial anchoring. Extensive experiments on the W3DA benchmark demonstrate that DualGaze-VLM consistently surpasses existing state-of-the-art (SOTA) models in spatial alignment metrics, notably achieving up to a 17.8% improvement in Similarity (SIM) under safety-critical scenarios. Furthermore, a visual Turing test reveals that the attention heatmaps generated by DualGaze-VLM are perceived as authentic by 88.22% of human evaluators, proving its capability to generate rational cognitive priors.
• Abstract（参考訳）: 解釈可能なドライバーの注意予測は、人間のような自動運転にとって不可欠である。 しかし、既存のデータセットは、微粒なオブジェクトレベルのアノテーションではなく、シーンレベルのグローバルな視線のみを提供しており、本質的にはテキストグラウンドの認知モデリングをサポートしない。 その結果、VLM(Vision-Language Models)は意味論的推論に大きな可能性を秘めているが、この重要なデータ制限は、テキストビジョンの疎結合と視覚バイアスの幻覚を引き起こす。 本稿では、このボトルネックを克服し、オブジェクトレベルの正確な注意予測を実現するために、データ構築からモデルアーキテクチャへの完全なパラダイムを確立した、新しいデュアルブランチの視線予測フレームワークを提案する。 まず、オブジェクトレベルのドライバー注意データセットであるG-W3DAを構築する。 マルチモーダルな大言語モデルとSegment Anything Model 3 (SAM3)を統合することで、マクロなヒートマップを厳密なクロスバリデーションの下でオブジェクトレベルのマスクに分離し、アノテーションの幻覚を根本的に排除する。 この高品質なデータ基盤を基盤として,DualGaze-VLMアーキテクチャを提案する。 このアーキテクチャは、セマンティッククエリの隠された状態を抽出し、コンディション・アウェアのSEゲートを介して視覚的特徴を動的に変調し、インテント駆動の正確な空間アンカーを実現する。 W3DAベンチマークの大規模な実験は、DualGaze-VLMが空間アライメントのメトリクスにおいて既存の最先端(SOTA)モデルを一貫して上回り、特に安全クリティカルなシナリオ下でのSimisity(SIM)の最大17.8%の改善を実現していることを示している。 さらに、視覚的チューリングテストでは、DualGaze-VLMが生成した注意熱マップが、人間の評価者の88.22%によって本物であると認識され、合理的な認知的先行性を生成する能力が証明されている。

関連論文リスト

• DeepGaze3.5-VL: Modeling Scanpaths via Autoregressive Token Prediction [21.818459524136376]
  DeepGaze3.5-VLは、複数のデータセットにまたがる新たな最先端技術を確立し、MIT1003上で2.18ビットの情報ゲイン(IG)を実現し、DeepGaze IIIよりも46%改善した。 我々の生成フレームワークは、直接的行動介入のための強力な計算ツールとして機能し、生体内での動作が実験的に困難または不可能な、制御されたシリカ内シミュレーションを可能にします。
  論文  参考訳（メタデータ） (2026-07-02T12:25:45Z)
• AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
  AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。 AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-04T13:28:51Z)
• Embodied3DBench: Benchmarking Low-Level Embodied Spatial Intelligence of Vision Language Models [50.6415287154632]
  Embodied3DBenchは3D環境における低レベル空間インテリジェンスをターゲットにしたロボット中心のベンチマークである。 ベンチマークは12のサブカテゴリにまたがり、21万以上の高品質な質問応答ペアを含んでいる。
  論文  参考訳（メタデータ） (2026-05-27T20:28:56Z)
• GEM: Generative Supervision Helps Embodied Intelligence [60.28190143133428]
  VLM(Embodied Vision-Language Models)は、ロボット工学における優れた性能と一般化を実証している。 標準的なテキスト誘導事前学習パラダイムの高レベルのセマンティックフォーカスと、エンボディ環境での実行に不可欠な低レベルの空間的および物理的知識との間には、大きなギャップが残っている。 我々は、この分割を橋渡しするために設計された、ジェネレーティブ制御されたエンボディード視覚言語モデルであるGEMを紹介する。
  論文  参考訳（メタデータ） (2026-05-27T14:39:42Z)
• OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
  拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。 すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
  論文  参考訳（メタデータ） (2026-05-26T00:08:06Z)
• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• VLADriver-RAG: Retrieval-Augmented Vision-Language-Action Models for Autonomous Driving [8.228888952282917]
  歴史的知識を明示的かつ構造的に認識するフレームワークである textbfVLA-DriverRAG を提案する。 感覚入力をtextitVisual-to-Scenario 機構で意味グラフに抽象化し,視覚ノイズを効果的にフィルタリングする。 Bench2Driveベンチマークの実験は、新しい最先端技術を確立し、ドライビングスコア89.12を達成した。
  論文  参考訳（メタデータ） (2026-05-01T05:50:00Z)
• AULLM++: Structural Reasoning with Large Language Models for Micro-Expression Recognition [30.62262381459829]
  AULLM++は大規模言語モデル(LLM)を活用した推論指向フレームワークである AU予測をエビデンス構築、構造モデリング、推論に基づく予測の3段階に定式化する。 AULLM++は、標準ベンチマークで最先端のパフォーマンスを実証する。
  論文  参考訳（メタデータ） (2026-03-09T13:45:21Z)
• TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
  Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。 我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
  論文  参考訳（メタデータ） (2026-03-03T13:28:07Z)
• Towards 3D Object-Centric Feature Learning for Semantic Scene Completion [18.41627244498394]
  視覚に基づく3Dセマンティックシーンコンプリート(SSC)は、自動運転の可能性から注目を集めている。 シーンを個々のオブジェクトインスタンスに分解するオブジェクト中心の予測フレームワークであるOceanを提案する。 その結果,Oceanは17.40点,mIoUスコアは20.28点であった。
  論文  参考訳（メタデータ） (2025-11-17T06:28:26Z)
• FSDAM: Few-Shot Driving Attention Modeling via Vision-Language Coupling [5.609178055761294]
  本稿では,100の注釈付き例で共同注意予測とキャプション生成を実現するフレームワークであるFSDAMを提案する。 FSDAMは、注意予測における競合性能を達成し、コヒーレントでコンテキストを考慮した説明を生成する。 本研究は,効果的な注意条件付き生成が限定的な監督によって達成可能であることを示し,説明可能な運転注意システムの実用的展開の可能性を示した。
  論文  参考訳（メタデータ） (2025-11-16T17:50:30Z)
• Enhancing 3D Gaze Estimation in the Wild using Weak Supervision with Gaze Following Labels [10.827081942898506]
  我々は,新しい自己学習弱弱視線推定フレームワーク(ST-WSGE)を紹介する。 画像とビデオのデータセットから静的および動的視線情報を同時に学習できるモダリティに依存しないアーキテクチャであるGaze Transformer (GaT)を提案する。 3次元映像データセットと2次元視線目標ラベルを追従タスクから組み合わせることで,本手法は以下の重要な貢献を達成できる。
  論文  参考訳（メタデータ） (2025-02-27T16:35:25Z)
• DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection [111.68263493302499]
  DetCLIPv3は、オープンボキャブラリオブジェクト検出と階層ラベルの両方で優れた高性能検出器である。 DetCLIPv3は,1)Versatileモデルアーキテクチャ,2)高情報密度データ,3)効率的なトレーニング戦略の3つのコア設計によって特徴付けられる。 DetCLIPv3は、GLIPv2, GroundingDINO, DetCLIPv2をそれぞれ18.0/19.6/6 APで上回り、優れたオープン語彙検出性能を示す。
  論文  参考訳（メタデータ） (2024-04-14T11:01:44Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。