論文の概要: Gaze Prompts: Temporally Dense Human Attention for Vision-Language-Action Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.34550v1
• Date: Mon, 28 Sep 2026 08:10:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:33:20.437557
• Title: Gaze Prompts: Temporally Dense Human Attention for Vision-Language-Action Fine-Tuning
• Title（参考訳）: Gaze Prompts:視覚-言語-アクションファインチューニングのためのテンポラリな人間の注意
• Abstract要約: Vision-Language-Action (VLA) は、すべてのステップでアクションを持つイメージを微調整するが、通常はタスクレベルの言語命令のみを提供する。 我々は,VR遠隔操作中に記録された視線を用いて,フレームレベルの視覚的ガイダンスを提供するエフェアイトラッカー監視型視線プロンプトを導入した。
• 参考スコア（独自算出の注目度）: 15.614210118777981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) fine-tuning pairs images with actions at every step, yet typically provides only a task-level language instruction, leaving moment-to-moment visual relevance implicit. We introduce \emph{eye-tracker-supervised gaze prompting}, which uses gaze recorded during VR teleoperation to provide frame-level visual guidance for VLA fine-tuning. During training, recorded gaze locations are rendered as crosshairs on the robot's head-camera images. At deployment, a lightweight predictor estimates gaze locations from recent images and the instruction, supplying the same type of visual prompt without an eye tracker or changes to the policy architecture. Instantiated with $π_0$, gaze prompting increases mean success from $26.3\%$ to $56.0\%$ across six real-world bimanual manipulation tasks, with gains also observed when a single policy is trained on all six tasks. We release \textsc{GazeMani}, a dataset of $1{,}200$ teleoperated trajectories with synchronized gaze.
• Abstract（参考訳）: VLA(Vision-Language-Action)は、すべてのステップでイメージとアクションを微調整するが、通常はタスクレベルの言語命令のみを提供し、モーメント間の視覚的関連性を暗黙的に残す。 VLAファインチューニングのためのフレームレベルの視覚的ガイダンスを提供するために,VR遠隔操作中に記録された視線を利用する「emph{eye-supervised gaze prompting」を導入する。 トレーニング中、記録された視線位置は、ロボットの頭部カメラ画像のクロスヘアとして表現される。 デプロイ時に、軽量な予測器は、最近の画像と命令から視線を推定し、アイトラッカーやポリシーアーキテクチャの変更なしに、同じタイプの視覚的プロンプトを提供する。 π_0$で証明され、視線促進は6つの実世界のバイマン操作タスクで26.3\%$から5.6.0\%$に上昇し、単一のポリシーが6つのタスクすべてで訓練された場合の利得も観察される。 我々は、同期された視線を持つ1,200ドルの遠隔操作軌跡のデータセットである \textsc{GazeMani} をリリースした。

関連論文リスト

• JEPA-WAM: Connecting Generated Visual Instructions to World Action Models through JEPA Latent Representations [13.540660245495005]
  World Action Models (WAM) は、トレーニング済みのビデオ生成モデルとアクションエキスパートを併用することで、強力なロボット操作能力を実証している。 現在のWAMは、テキスト命令のみを条件とした場合の命令追従能力に制限がある。 JEPAWAMを導入し、多様な視覚的指示のバンクで各テキスト命令を拡大する。
  論文  参考訳（メタデータ） (2026-08-04T06:08:21Z)
• How to Instruct Your Robot: Dense Language Annotations Power Robot Policy Learning [69.68882580009982]
  デモセグメントをVLM生成アノテーションでラベル付けする2段階のアプローチであるDeMiAnを紹介する。 学習したインストラクターがタスク記述と初期シーンスナップショットをデプロイ時にタスクに適したアノテーションにマップする。 RoboCasaでは、インストラクターはタスクのみのベースラインで5ポイント成功し、タスクごとのオラクルの3ポイント以内に到達する。
  論文  参考訳（メタデータ） (2026-05-16T16:52:08Z)
• Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting [15.173629384871013]
  Visual Attentive Prompting (VAP) は、凍結したビジョン・ランゲージ・アクションモデルに選択的注意を払って装備する、トレーニング不要の知覚アダプタである。 VAPは、成功率と正しいオブジェクト操作の両方において、一般的なポリシーとトークン学習ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-12-23T03:13:39Z)
• GazeVLM: A Vision-Language Model for Multi-Task Gaze Understanding [5.94301570835109]
  本稿では,画像のマルチタスク視線理解のための視覚言語モデル(VLM)であるGazeVLMを紹介する。 人検出、目視対象検出、目視対象識別に対処する。 GazeVLMは、私たちの知る限り、これらの組み合わせタスクに対するVLMの最初の応用であり、各タスクの選択的な実行を可能にします。
  論文  参考訳（メタデータ） (2025-11-09T12:07:40Z)
• VISTA: Vision-Language Imitation of Situational Thinking and Attention for Human-Like Driver Focus in Dynamic Environments [0.0]
  運転者の視線の変化を自然言語でモデル化する視覚言語フレームワークを提案する。 提案手法は,低レベルキューとトップダウンコンテキストの両方を統合し,視線行動の言語による記述を可能にする。 その結果,微調整モデルでは,注目シフト検出や解釈可能性において汎用VLMよりも優れていた。
  論文  参考訳（メタデータ） (2025-08-07T21:01:43Z)
• OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction [95.6266030753644]
  Vision-Language-Action(VLA)モデルは、視覚的な観察と言語指示に基づいてロボット行動を予測することを目的としている。 既存のアプローチでは、視覚的特徴と言語的特徴が独立して下流ポリシーに供給されるため、微調整済みの視覚言語モデル(VLM)が必要である。 本稿では,テキスト認識による視覚的特徴抽出によって既存のアライメントを活用する新しいVLAアーキテクチャOTTERを提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:48Z)
• Visually-augmented pretrained language models for NLP tasks without images [77.74849855049523]
  既存のソリューションはしばしば視覚的知識増強のために明示的なイメージに依存している。 我々は、新しいtextbfVisually-textbfAugmented fine-tuningアプローチを提案する。 我々のアプローチは、BERT、RoBERTa、BART、T5を異なるスケールで継続的に改善することができる。
  論文  参考訳（メタデータ） (2022-12-15T16:13:25Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Learning Visual Representations with Caption Annotations [19.24013129952071]
  本稿では,視覚的表現をイメージ・キャプション・ペア上で学習するプロキシ・タスクを提案する。 ICMLMは視覚的手がかりに頼って字幕中のマスキング語を予測する。 実験の結果,画像キャプションを利用してグローバルな意味情報を視覚表現に注入できることが確認された。
  論文  参考訳（メタデータ） (2020-08-04T08:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。