論文の概要: GazeAct: A Human-Gaze-Annotated Manipulation Dataset for Attention-Regularized Policies

• arxiv url: http://arxiv.org/abs/2610.24507v1
• Date: Sat, 17 Oct 2026 07:07:56 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:52:13.399923
• Title: GazeAct: A Human-Gaze-Annotated Manipulation Dataset for Attention-Regularized Policies
• Title（参考訳）: GazeAct: Atention-Regularized Policiesのための人為的な注記型マニピュレーションデータセット
• Abstract要約: 視覚言語アクション(VLA)ポリシーは、信頼できる操作のために、適切なオブジェクト、コンタクトポイント、ターゲットロケーションに言語命令を接地しなければならない。 本稿では,マルチビューVLAポリシーのための実ロボット操作データセットとトレーニングフレームワークであるGazeActを紹介する。
• 参考スコア（独自算出の注目度）: 42.532557938769806
• License:
• Abstract: Vision-language-action (VLA) policies must ground language instructions in the right objects, contact points, and target locations for reliable manipulation. Human gaze provides a natural signal for this grounding, but existing robot datasets rarely pair real human gaze with the multi-camera observations used by modern policies. We introduce GazeAct, a gaze-equipped real-robot manipulation dataset and training framework for multi-view VLA policies. Using screen-based teleoperation, we record gaze directly on the robot camera feed viewed by the operator, yielding 12000 demonstrations across 40 tasks and five domains with 300 Hz gaze synchronized with images, proprioception, and actions. We transfer gaze from the operator-selected view to the remaining synchronized cameras, producing spatially consistent targets across the policy's visual inputs. We then use these gaze-derived targets to regularize language-conditioned visual attention during training while keeping inference gaze-free. Across 18 real-world tasks, our method improves average success from 48.1% to 58.6%, with gains up to 25 percentage points. Ablations show that gaze works best as soft supervision and that real human gaze provides stronger attention targets than generic attention-shaping priors. The gains transfer to LIBERO-Spatial (57.9% to 69.6%) and different VLA backbones.These results show that gaze collected in the robot observation space can provide effective training-time targets for improving visual grounding in VLA manipulation.
• Abstract（参考訳）: 視覚言語アクション(VLA)ポリシーは、信頼できる操作のために、適切なオブジェクト、コンタクトポイント、ターゲットロケーションに言語命令を接地しなければならない。 人間の視線は、この接地のための自然な信号を提供するが、既存のロボットデータセットは、現代のポリシーで使用されるマルチカメラの観測と実際の人間の視線をペアにすることは滅多にない。 本稿では,マルチビューVLAポリシーのための実ロボット操作データセットとトレーニングフレームワークであるGazeActを紹介する。 画面ベースの遠隔操作を用いて、オペレーターが見ているロボットカメラのフィードに視線を直接記録し、画像、プロプレセプション、アクションと同期した300Hzの視線を持つ5つの領域と40のタスクで12,000のデモを行った。 我々は、オペレータ選択されたビューから残りの同期カメラに視線を移し、ポリシーの視覚的入力に対して空間的に一貫したターゲットを生成する。 次に、これらの視線に基づく目標を用いて、学習中の言語条件の視覚的注意を規則化し、推論を無意識に保ちます。 実世界の18のタスクにおいて,平均成功率は48.1%から58.6%に向上し,25ポイントまで向上した。 アブレーションは、視線はソフトな監視として機能し、実際の人間の視線は、一般的な注意を形作る以前のものよりも強い注意ターゲットを提供することを示している。 LIBERO-Spatial(57.9%～69.6%)と異なるVLAバックボーン(69.6%)へのゲイン転送は、ロボット観察空間で収集された視線が、VLA操作における視覚的接地を改善する効果的な訓練時間目標となることを示す。

関連論文リスト

• ActGaze: Learning Action-Grounded Gaze through Counterfactual Visual Interventions for High-Precision Manipulation [13.151941920991625]
  本稿では,タスク関連領域を視認するためのビジョン・ランゲージ・アクション・ポリシーを指導するトレーニング手法であるActGazeを提案する。 4つの高精度なロボット操作タスクの実験において、ActGazeはタスク関連領域により焦点を絞った視覚的注意を誘導する。
  論文  参考訳（メタデータ） (2026-09-24T03:09:37Z)
• HuRo: Robotizing Human Videos for Scalable VLA Pretraining [21.648183246162237]
  異種映像をロボット対応の観察・行動軌跡に変換するロボット化パイプラインを開発した。 我々は5つのビデオソースから約630Kのロボット化されたエピソードと1億4200万のフレームからなるHuRoデータセットを構築した。
  論文  参考訳（メタデータ） (2026-09-09T18:02:05Z)
• Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body Teleoperation [55.724481205135675]
  モバイル操作は、視覚言語アクションポリシーに2つの重要な課題を提起する。 我々は全身遠隔操作システムとパノラマ対応VLAポリシーを開発した。 パノラマを意識したバイマンダル操作のための視覚-言語-アクションポリシーであるパノVLAを提案する。
  論文  参考訳（メタデータ） (2026-08-03T14:03:26Z)
• ActiveGlasses: Learning Manipulation with Active Vision from Ego-centric Human Demonstration [51.69384671495837]
  ActiveGlassesは、エゴ中心の人間のデモからロボット操作を学習するシステムである。 スマートグラスに装着されたステレオカメラは、データ収集とポリシー推論の両方のための唯一の認識装置として機能する。 ゼロ・トランスファーを可能にするために,デモからオブジェクト・トラジェクトリを抽出し,オブジェクト中心のポイント・クラウド・ポリシーを用いて操作と頭部運動を協調的に予測する。
  論文  参考訳（メタデータ） (2026-04-09T17:59:08Z)
• Look, Focus, Act: Efficient and Robust Robot Learning via Human Gaze and Foveated Vision Transformers [2.736848514829367]
  人間の視覚は視線によって駆動される非常に活発なプロセスであり、ファベーションを通じてタスク関連領域に注意を向ける。 本研究では,ロボット政策に人間のようなアクティブな視線を取り入れることで,効率性とロバスト性を高める方法について検討する。 我々は人間の頭と首の動きをエミュレートするロボットビジョンシステムであるGIAVAを開発し、ファーベレート処理のための視線調整を行う。
  論文  参考訳（メタデータ） (2025-07-21T17:44:10Z)
• Voila-A: Aligning Vision-Language Models with User's Gaze Attention [56.755993500556734]
  視覚言語モデル(VLM)を導くために,人間の注意の代用として視線情報を導入する。 本稿では,視線アライメントのための新しいアプローチであるVoila-Aを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:01Z)
• GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
  本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。 私たちのデータ収集は特定のシーンに縛られません。 視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-04-20T13:17:39Z)
• Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual Observations [75.60524561611008]
  この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。 まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。 本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
  論文  参考訳（メタデータ） (2021-09-28T20:25:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。