論文の概要: TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
- arxiv url: http://arxiv.org/abs/2607.10130v1
- Date: Sat, 11 Jul 2026 05:40:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.309872
- Title: TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
- Title（参考訳）: TextGaze: テキストシーンクイズによる目標目標推定のプロンプト
- Abstract要約: マルチブランチメソッドは追加の監視とアノテーションを必要とする。
合理化されたデザインは、真の視線意図よりも低レベルの視覚的満足度を優先する。
我々は,大規模ビジョンランゲージモデルを活用する統合型クロスモーダルアーキテクチャであるTextGazeを提案する。
- 参考スコア（独自算出の注目度）: 15.615000069929605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaze target estimation aims to infer the position of a person's gaze within a scene. Within mainstream design logic, multi-branch methods require extra supervision and annotations, while streamlined designs prioritize low-level visual saliency over true gaze intent. The former leads to a high annotation burden and hinders domain transfer, whereas the latter causes misalignment between predicted attention and actual gaze targets. To address this issue, we propose TextGaze, a unified cross-modal architecture that leverages a Large Vision-Language Model (LVLM) as scalable semantic guidance to balance the two design paradigms. The model extracts visual features from a frozen encoder and utilizes an LVLM to obtain gaze-aligned textual cues. We design a transformer-based fusion module with hierarchical text supervision to preserve task semantics. Lightweight decoding heads enable the joint prediction of gaze heatmaps and in-/out-of-frame status. We evaluate our method on four mainstream datasets, and the results show competitive performance across key metrics with robust cross-dataset generalisation without extra fine-tuning. Overall, we provide a streamlined alternative to traditional designs and highlight the potential of LVLMs as accessible auxiliary guidance for gaze estimation.
- Abstract（参考訳）: 視線目標推定は、シーン内の人の視線の位置を推定することを目的としている。
主流の設計論理の中では、マルチブランチの手法は追加の監督とアノテーションを必要とするが、合理化された設計は真の視線意図よりも低レベルの視覚的サリエンシを優先する。
前者はアノテーションの負担が高く、ドメイン転送を阻害する一方、後者は予測された注意と実際の視線目標の不一致を引き起こす。
この問題に対処するために,LVLM(Large Vision-Language Model)を拡張性のあるセマンティックガイダンスとして活用し,2つの設計パラダイムのバランスをとる,統合型クロスモーダルアーキテクチャであるTextGazeを提案する。
このモデルは凍結エンコーダから視覚的特徴を抽出し、LVLMを用いて視線に沿ったテキストの手がかりを得る。
タスクのセマンティクスを保存するために,階層的なテキスト管理機能を備えたトランスフォーマーベースの融合モジュールを設計する。
軽量デコードヘッドは、視線熱マップとフレーム内状態の合同予測を可能にする。
提案手法を4つの主流データセットで評価し, 結果から, さらなる微調整を伴わずに, 頑健なクロスデータセット一般化による鍵指標間の競合性能を示す。
全体として、従来のデザインに代わる合理化された代替案を提供し、視線推定のための補助的ガイダンスとしてLVLMの可能性を強調した。
関連論文リスト
- Gaze Target Estimation Anywhere with Concepts [28.49132281076088]
本稿では、視線分析のためのPGE(Promptable Gaze Target Estimation)タスクを紹介する。
PGE条件は、フレキシブルなユーザテキストや視覚的なプロンプトに基づいて、特定の主題を識別する。
そこで我々は,120Kの高品質な高速アノテート画像ペアのデータセットとベンチマークであるGaze-Coを生成するスケーラブルなデータエンジンを開発した。
PGE用に設計された最初のモデルであるGazeAnywhereも提案する。
論文 参考訳（メタデータ） (2026-08-11T19:23:48Z) - OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。
すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文 参考訳（メタデータ） (2026-05-26T00:08:06Z) - LaCoVL-FER: Landmark-Guided Contrastive Learning Network with Vision-Language Enhancement for Facial Expression Recognition [51.70817823155725]
顔表情認識のための視覚言語強化型ランドマーク誘導型コントラスト学習ネットワーク(FER)を提案する。
LaCoVL-FERは、顔のランドマークと視覚言語モデルからのセマンティックな事前情報を統合する。
実験により、LaCoVL-FERは3つの代表的な実世界のFERデータセット上で最先端のメソッドより優れていることが示された。
論文 参考訳（メタデータ） (2026-05-19T13:15:41Z) - GazeCLIP: Gaze-Guided CLIP with Adaptive-Enhanced Fine-Grained Language Prompt for Deepfake Attribution and Detection [80.12497948980378]
現在のディープフェイク属性やディープフェイク検出作業は、新しい生成方法への一般化が不十分である傾向にある。
適応型きめ細粒度言語プロンプトを用いた新しい視線誘導型CLIPを提案する。
拡散モデルや流れモデルのような新しい発電機上でのネットワークのDFAD性能を評価するために, 新規できめ細かなベンチマークを行う。
CLIPをベースとした視線認識モデルを導入し,顔偽造攻撃の一般化を図った。
論文 参考訳（メタデータ） (2026-03-31T05:59:59Z) - SGHA-Attack: Semantic-Guided Hierarchical Alignment for Transferable Targeted Attacks on Vision-Language Models [73.19044613922911]
大規模視覚言語モデル(VLM)は、転送ベースの対向摂動に対して脆弱である。
SGHA-Attackは、複数のターゲット参照を採用し、中間層一貫性を強制するフレームワークである。
オープンソースおよび商用のブラックボックスVLMの実験は、SGHA-Attackが従来の方法よりも強力な目標転送性を実現することを示している。
論文 参考訳（メタデータ） (2026-02-02T03:10:41Z) - From Data to Modeling: Fully Open-vocabulary Scene Graph Generation [29.42202665594218]
OvSGTRは、完全にオープンなシーングラフ生成のためのトランスフォーマーベースのフレームワークである。
我々のアプローチは、事前に定義されたカテゴリを超えて、オブジェクト(ノード)とその相互関係(エッジ)を共同で予測する。
論文 参考訳（メタデータ） (2025-05-26T15:11:23Z) - Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning [70.57180215148125]
ビジュアルインストラクションチューニングは、大きな言語モデルで視覚世界を理解できるようにすることを目的としている。
既存の手法は、精度と効率の間の難解なトレードオフに悩まされることが多い。
LLaVA-Meteorは,コア情報を妥協することなく,視覚トークンを戦略的に圧縮する手法である。
論文 参考訳（メタデータ） (2025-05-17T10:22:29Z) - Gaze-LLE: Gaze Target Estimation via Large-Scale Learned Encoders [33.26237143983192]
本研究では,視覚目標推定の問題に対処する。
凍結したDINOv2エンコーダの特徴を活用して視線目標推定を効率化する新しいトランスフォーマフレームワークであるGaze-LLEを提案する。
論文 参考訳（メタデータ） (2024-12-12T18:55:30Z) - Towards Pixel-Level Prediction for Gaze Following: Benchmark and Approach [27.84672974344777]
本稿ではGazeSegという新しい視線目標予測手法を提案する。
人物の空間的視野を案内情報として完全に活用し、徐々に粗い視線目標のセグメンテーションと認識プロセスへと導くことができる。
本手法は、視線目標セグメンテーションにおける0.325のDiceと、71.7%のトップ5認識を実現する。
論文 参考訳（メタデータ） (2024-11-30T01:27:48Z) - GazeCLIP: Enhancing Gaze Estimation Through Text-Guided Multimodal Learning [12.706496295933343]
テキストと顔のコラボレーションを深く探求する新しい視線推定フレームワークであるGazeCLIPを提案する。
具体的には、厳密に設計された言語記述生成器を導入し、粗い方向の手がかりに富んだテキスト信号を生成する。
本研究は,視覚タスクのためのマルチモーダル学習における視線推定と新たな道を開くために,視覚言語を用いた協調作業の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2023-12-30T15:24:50Z) - Enhanced Modality Transition for Image Captioning [51.72997126838352]
MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。
トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。
提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2021-02-23T07:20:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。