論文の概要: From Gaze to Meaning: A Training-Free AI Agent for Unified Grounding and Explanation

• arxiv url: http://arxiv.org/abs/2609.06208v1
• Date: Sat, 05 Sep 2026 17:54:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 06:34:39.41313
• Title: From Gaze to Meaning: A Training-Free AI Agent for Unified Grounding and Explanation
• Title（参考訳）: ゲーズから意味:統一グラウンドと説明のためのトレーニングフリーAIエージェント
• Abstract要約: 本研究は,視線目標予測,注目位置推定,物体識別といった課題にまたがる視線誘導推論のための,最初のトレーニングフリーな視線目標エージェント(GTA)を紹介する。 これは、事前学習された視覚言語モデルを活用し、それらを視覚的に誘導されたプロンプトで拡張し、高不確実性サンプルにメモリベースの検索戦略を採用することで達成される。
• 参考スコア（独自算出の注目度）: 6.812620443565403
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding human attention is fundamental for scene interpretation, yet existing approaches often rely on heavily trained models that lack interpretability. Prior methods struggle to jointly reason about gaze targets, attended objects, and visual grounding without extensive supervision. To the best of our knowledge, this work introduces the first training-free Gaze Target Agent (GTA) for gaze-guided reasoning across tasks such as gaze target prediction, attention localization, and object identification. This is achieved by leveraging pretrained vision-language models, augmenting them with visually guided prompts, and employing a memory-based retrieval strategy for high-uncertainty samples to improve performance without additional training. We evaluate our approach using both quantitative metrics and qualitative results. Quantitatively, our method achieves state of the art performance on the GazeFollow and GazeHOI benchmarks. Qualitatively, our agent provides detailed semantic predictions, predicts the correct targets even when ground truth labels are wrong, and remains flexible without vocabulary constraints.
• Abstract（参考訳）: 人間の注意を理解することはシーンの解釈の基本であるが、既存のアプローチはしばしば解釈可能性に欠ける高度に訓練されたモデルに依存している。 従来の手法では、視線目標、被写体、視覚的接地について、広範囲の監視なしに共同で推論するのに苦労していた。 我々の知る限り、この研究は、視線目標予測、注目局所化、物体識別といったタスクにまたがる視線誘導推論のための、最初の訓練不要な視線目標エージェント(GTA)を導入している。 これは、事前学習された視覚言語モデルを活用し、それらを視覚的に誘導されたプロンプトで強化し、メモリベースの検索戦略を高不確実なサンプルに適用し、追加のトレーニングなしで性能を向上させることで達成される。 定量的な測定値と定性的な結果の両方を用いて,本手法の評価を行った。 本手法は,GazeFollow と GazeHOI のベンチマークを用いて,最先端の性能を定量的に評価する。 定性的には、我々のエージェントは詳細な意味予測を提供し、真実ラベルが間違っていても正しいターゲットを予測し、語彙制約なしで柔軟に保ちます。

関連論文リスト

• Towards Robustness against Typographic Attack with Training-free Concept Localization [42.575178574443946]
  Contrastive Language-Image Pretraining Model (CLIP)は、現代のLVLM(Large Vision Language Models)の基盤となるビジョンエンコーダとして機能する。 CLIPモデルには重要な障害モードがあり、画像内に現れる無関係なテキストは、真の視覚的意味論ではなく、語彙的な意味に偏っている。 この問題は、一般的にはTypographic Attack (TA)と呼ばれ、自律運転のような安全クリティカルなアプリケーションに重大なリスクをもたらす脆弱性を露呈する。 そこで本稿では,TAに対する解釈可能かつ効果的なロバスト性を実現するための,新しい学習自由な機械的解釈法を提案する。
  論文  参考訳（メタデータ） (2026-07-02T17:55:24Z)
• Enhancing Gaze Reasoning in Vision Foundation Models for Gaze Following [67.84259349601501]
  視線追跡のための視覚基盤モデルにおいて、視線推論を強化するための新しい学習機構を提案する。 本手法は,目視対象が意味論的に健全でない場合に,最先端の性能を向上する。
  論文  参考訳（メタデータ） (2026-05-21T15:21:14Z)
• Gaze-Regularized VLMs for Ego-Centric Behavior Understanding [7.281396624646809]
  眼球は固定やササードを包含しており、人間の意図や将来の行動に対する重要な洞察を提供する。 本研究では、自我中心の行動理解のための視覚言語モデル(VLM)を強化する、視線規則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-24T13:37:28Z)
• SpotAgent: Grounding Visual Geo-localization in Large Vision-Language Models through Agentic Reasoning [31.665287327579026]
  SpotAgentは、地理的ローカライゼーションをエージェント推論プロセスにフォーマル化するフレームワークである。 外部ツール(例えば、Web検索、マップ)をReActダイアグラムを通じて活用することで、視覚的手がかりを積極的に探索し検証する。 最先端のパフォーマンスを実現し、効果的に幻覚を緩和し、正確で検証可能なジオローカライゼーションを提供する。
  論文  参考訳（メタデータ） (2026-02-10T06:57:12Z)
• Exploring Conditions for Diffusion models in Robotic Control [70.27711404291573]
  我々は,ロボット制御のためのタスク適応型視覚表現を得るために,事前学習したテキスト・画像拡散モデルを活用することを検討する。 テキスト条件をナビゲート的に適用すると、制御タスクにおいて最小あるいは負の利得が得られることがわかった。 本稿では,制御環境に適応する学習可能なタスクプロンプトと,細粒度でフレーム固有の細部をキャプチャする視覚プロンプトを提案する。
  論文  参考訳（メタデータ） (2025-10-17T10:24:14Z)
• Preserving Clusters in Prompt Learning for Unsupervised Domain Adaptation [29.809079908218607]
  この研究は、ベース擬似ラベルを強化し、ターゲット・プロンプト学習を促進する新しいソリューションを導入している。 まず、ソースとターゲットの視覚的埋め込みの関係に基づき、参照予測を活用することを提案する。 その後、事前学習したマルチモーダルモデルにおいて、視覚とテキストの埋め込みの間に強いクラスタリングの挙動が観察されていることを示した。
  論文  参考訳（メタデータ） (2025-06-13T06:33:27Z)
• POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
  モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。 本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
  論文  参考訳（メタデータ） (2023-04-29T22:05:22Z)
• Weakly-supervised HOI Detection via Prior-guided Bi-level Representation Learning [66.00600682711995]
  ヒューマンオブジェクトインタラクション(HOI)検出は、人間中心のシーン理解において重要な役割を担い、多くの視覚タスクの基本的なビルディングブロックとして機能する。 HOI検出のための汎用的でスケーラブルな戦略の1つは、画像レベルのアノテーションからのみ学習する弱い監視を使用することである。 これは、不明瞭な人間と物体の関連、HOIを検出する大きな探索空間、非常にノイズの多い訓練信号によって本質的に困難である。 画像レベルとHOIインスタンスレベルの両方で事前の知識を組み込むことができるCLIP誘導HOI表現を開発し、不正な人間とオブジェクトの関連性を実証するために自己学習機構を採用する。
  論文  参考訳（メタデータ） (2023-03-02T14:41:31Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。