論文の概要: OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following

• arxiv url: http://arxiv.org/abs/2605.26399v1
• Date: Tue, 26 May 2026 00:08:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.509616
• Title: OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following
• Title（参考訳）: OmniGF: 統合迷路追従のためのデュアルブランチビジョンランゲージフレームワーク
• Authors: Qiaomu Miao, Haoyu Wu, Jingyi Xu, Minh Hoai, Dimitris Samaras,
• Abstract要約: 拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。 すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
• 参考スコア（独自算出の注目度）: 59.53720386342017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding human gaze behavior is essential for complex scene comprehension and human-computer interaction. Traditional gaze following models are typically restricted to pure spatial localization, lacking the high-level capacity to reason about semantic targets or complex social contexts. Furthermore, these models often process individuals sequentially, requiring redundant computations over the same scene image for multi-person inference. While recent Vision-Language Models (VLMs) offer the exceptional semantic reasoning needed to address gaze-related semantic tasks, their reliance on discrete text generation inherently limits precision in continuous spatial tasks like gaze localization. To bridge this gap, we propose OmniGF, a unified vision-language framework that adapts foundational VLMs for highly scalable multi-person gaze reasoning. The model adopts a dual-branch decoding strategy: a structured language branch generates discrete reasoning states, while a continuous spatial branch directly taps into the VLM's dense hidden states. Supervising these extracted representations with high-resolution gaze target heatmaps effectively overcomes the spatial bottleneck of text-only coordinate generation. Furthermore, to explicitly ground the model in multi-person scenes, we augment the input with head embeddings encoded from cropped head images, providing fine-grained appearance and orientation cues for all individuals simultaneously. By modeling all individuals and leveraging the strong semantic capability of VLMs, OmniGF seamlessly integrates precise spatial gaze target estimation, semantic gaze prediction, and complex social gaze reasoning. Extensive experiments demonstrate that our framework establishes new state-of-the-art performance across multiple standard benchmarks. Code is available at https://github.com/cvlab-stonybrook/omnigf.
• Abstract（参考訳）: 人間の視線行動を理解することは複雑な場面理解と人間とコンピュータの相互作用に不可欠である。 伝統的な視線従属モデルは通常、純粋な空間的局所化に制限され、意味的対象や複雑な社会的文脈を推論する高いレベルの能力が欠如している。 さらに、これらのモデルはしばしば個人を順次処理し、複数の人物の推論のために同じシーンイメージ上で冗長な計算を必要とする。 近年のビジョン・ランゲージ・モデル(VLM)は、視線に関連する意味的タスクに対処するために必要な例外的な意味論的推論を提供するが、離散テキスト生成への依存は、視線局所化のような連続的な空間的タスクにおける精度を本質的に制限している。 このギャップを埋めるため,高度にスケーラブルな多人数視線推論に基礎的VLMを適用する統合視覚言語フレームワークであるOmniGFを提案する。 構造化された言語分岐は個別の推論状態を生成し、連続的な空間分岐はVLMの密集した隠れ状態を直接タップする。 これらの抽出表現を高解像度の視線目標熱マップで監視することは、テキストのみの座標生成の空間的ボトルネックを効果的に克服する。 さらに,マルチパーソンシーンでモデルを明確に把握するために,被写体画像から符号化した頭部埋め込みによる入力を増強し,全個人に対してきめ細かい外観と配向手段を同時に提供した。 すべての個人をモデリングし、VLMの強い意味能力を活用することで、OmniGFは、正確な空間的な視線目標推定、意味的な視線予測、複雑な社会的な視線推論をシームレスに統合する。 大規模な実験により、我々のフレームワークが複数の標準ベンチマークにまたがって新しい最先端のパフォーマンスを確立することが実証された。 コードはhttps://github.com/cvlab-stonybrook/omnigf.comで入手できる。

関連論文リスト

• Learning to See What You Need: Gaze Attention for Multimodal Large Language Models [96.20985292033465]
  本稿では,世代別タスク関連視覚領域へのMLLMの選択的参加を可能にする新しいメカニズムであるGaze Attentionを紹介する。 注意計算では、視線KVエントリが最大90%少ないのに対して、視線アテンションは高密度アテンションベースラインと一致または超過していることが示される。
  論文  参考訳（メタデータ） (2026-05-13T06:54:09Z)
• SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
  空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。 テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。 本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
  論文  参考訳（メタデータ） (2026-04-19T11:21:59Z)
• Beyond Language: Grounding Referring Expressions with Hand Pointing in Egocentric Vision [13.21187394955871]
  EgoPoint-Thoughtは、egocentric deictic visual grounding専用の、最初の大規模なマルチモーダルデータセットである。 手動のバウンディングボックスペアや密集したセマンティックキャプションを含む、リッチで多義的なアノテーションを提供する。 提案するSV-CoTは,構造的推論プロセスとしてグラウンド化を再構成する新しいベースラインフレームワークである。
  論文  参考訳（メタデータ） (2026-03-27T17:49:56Z)
• dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3 [36.6036728217708]
  Open-Vocabulary Semantics (OVSS)は、テキスト定義カテゴリのオープンセットからピクセルレベルのラベルを割り当て、推論時に見えないクラスに信頼性の高い一般化を要求する。 我々は dinov3.seg を導入し、 dinov3.txt を OVSS 専用のフレームワークに拡張した。 まず、このバックボーンに合わせたタスク固有のアーキテクチャを設計し、従来のオープン語彙セグメンテーション作業から確立した設計原則を体系的に適用する。 第2に、VTベースのエンコーダのグローバルトークンとローカルパッチレベルのビジュアル特徴の両方に整合したテキスト埋め込みを共同で活用する。
  論文  参考訳（メタデータ） (2026-03-19T23:57:28Z)
• GeoLanG: Geometry-Aware Language-Guided Grasping with Unified RGB-D Multimodal Learning [17.389094942979455]
  GeoLanGは言語誘導の把握のためのエンドツーエンドのマルチタスクフレームワークである。 視覚的および言語的な入力を共有表現空間に統一し、ロバストなセマンティックアライメントと一般化を改善する。 その結果,GeoLanGは複雑で散在した環境において,正確かつ堅牢な言語誘導の把握を可能にすることを示した。
  論文  参考訳（メタデータ） (2026-02-04T05:42:55Z)
• Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
  本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。 我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。 以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-20T11:59:19Z)
• SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection [55.54007781679915]
  本稿では,多種多様な視覚的エンコーディングを効率よく融合させ,モデルの微粒化知覚を高めるSynergistic Semantic-Visual Prompting (SSVP)を提案する。 SSVPは、MVTec-AD上で93.0%のImage-AUROCと92.2%のPixel-AUROCで最先端のパフォーマンスを達成し、既存のゼロショットアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2026-01-14T04:42:19Z)
• Ming-UniVision: Joint Image Understanding and Generation with a Unified Continuous Tokenizer [50.69959748410398]
  我々は,自己回帰生成と理解を統一するための連続的な潜在空間を持つ新しい視覚トークンのファミリーであるMingTokを紹介する。 MingTokは低レベルエンコーディング、セマンティック拡張、視覚再構成を含む3段階のシーケンシャルアーキテクチャを採用している。 この上に構築されたMing-UniVisionは、タスク固有の視覚表現の必要性を排除し、単一の自己回帰予測パラダイムの下で多様な視覚言語タスクを統一する。
  論文  参考訳（メタデータ） (2025-10-08T02:50:14Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。