論文の概要: Eye, Robot: Learning Expressive Gaze Dynamics via a VLM-Guided Transformer-VAE
- arxiv url: http://arxiv.org/abs/2610.19635v1
- Date: Wed, 14 Oct 2026 06:04:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.987849
- Title: Eye, Robot: Learning Expressive Gaze Dynamics via a VLM-Guided Transformer-VAE
- Title（参考訳）: 目、ロボット:VLM誘導トランスフォーマー-VAEによる表現的視線ダイナミクスの学習
- Abstract要約: ヒューマノイドロボットは、目標に向かって適切な動きをしながら、どこを見るべきかを選択する必要がある。
我々はこれらのタスクを、シーン参照を選択する非同期視覚言語モデル、固定性を維持するリアクティブ認識モジュール、ターゲット条件の動作を生成するリアル・ゲイズ・トランスフォーマ(RGT)で分離する。
RGTは、マーカーのない人間の記録をロボットの11-DoF関節空間に再ターゲットするトランスフォーマーVAEである。
- 参考スコア（独自算出の注目度）: 14.327103479738858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaze coordinates attention in human interaction through coupled eye, head, and eyelid motion. A humanoid robot must choose where to look while generating a suitable movement toward that target; fixed tracking rules alone do not model the temporal structure of human gaze. We separate these tasks with an asynchronous vision-language model that selects a scene referent, a reactive perception module that maintains fixation, and a Realistic Gaze Transformer (RGT) that generates target-conditioned motion. RGT is a Transformer-VAE trained on markerless human recordings retargeted to the robot's 11-DoF joint space: self-supervised pretraining encodes recent full-head history, and autoregressive fine-tuning exposes the model to its own predictions during rollout. At inference, a four-dimensional binocular-eye trajectory conditions coordinated neck and eye motion; an auxiliary blink predictor triggers eyelid templates during playback. On a two-second benchmark in which all controllers receive the same ground-truth target, RGT-Base obtains the lowest reported overall seven-joint MSE, and physical demonstrations show the integrated targeting and control pipeline. The evidence establishes robot-space kinematic fidelity and real-time RGT inference; perceived naturalness and open-vocabulary target-selection accuracy remain questions for controlled evaluation.
- Abstract（参考訳）: 視線は、視線、頭部、眼球運動の結合を通して人間の相互作用における注意を協調する。
ヒューマノイドロボットは、目標に向かって適切な動きを発生させながら、どこに見えるかを選択する必要があり、固定された追跡ルールだけでは人間の視線の構造をモデル化しない。
我々はこれらのタスクを、シーン参照を選択する非同期視覚言語モデル、固定性を維持するリアクティブ認識モジュール、ターゲット条件の動作を生成するリアル・ゲイズ・トランスフォーマ(RGT)で分離する。
RGTは、マーカーのない人間の記録をロボットの11-DoF関節空間に再ターゲットするトランスフォーマー-VAE(トランスフォーマー-VAE)である。
推測では、4次元の両眼視線軌道条件が首と眼の動きを調整し、補助的点滅予測器が再生中に点眼テンプレートをトリガーする。
RGT-Baseは、すべてのコントローラが同じ接地目標を受信する2秒のベンチマークで、報告された最も低い7つの結合MSEを取得し、物理的なデモでは、統合されたターゲティングと制御パイプラインを示している。
このエビデンスでは,ロボット空間のキネマティックな忠実さとリアルタイムなRGT推論が確立されている。
関連論文リスト
- EgoAlign: Bridging the Human-Humanoid Gap for Long-Range Loco-Manipulation [30.557334389658166]
EgoAlignは、エゴセントリックな人間のデモをアクションに変換し、汎用的で連続的なボディコントローラと互換性のある状態の監視を行う。
上半身の相互作用の幾何に適応しながら、視覚的にガイドされた周期的なステップの参照を保存する。
最終因果リプレイは、人間の観察によるトレーニングのための対応するロボット状態とモーション・トーケン・ラベルを再構成する。
論文 参考訳（メタデータ） (2026-09-29T17:18:42Z) - MachEmbodied-U0: Unified Understanding and Generation Model for Embodied Intelligence [14.653862445798557]
汎用ロボット制御は、タスク意図を理解し、どこで相互作用するかを特定し、シーンがどのように進化するかを捉え、正確なアクションを生成するモデルを必要とする。
我々は、Mixture-of-Transformersアーキテクチャを通じて、理解と生成の専門家を結びつける統一的な基礎モデルであるMachEm-U0を提案する。
論文 参考訳（メタデータ） (2026-09-22T03:36:36Z) - AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。
アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。
本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
論文 参考訳（メタデータ） (2026-09-16T14:07:06Z) - AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。
私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。
大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
論文 参考訳（メタデータ） (2026-08-29T12:55:15Z) - Native Video-Action Pretraining for Generalizable Robot Control [77.59831077077176]
LingBot-VA 2.0は、エンボディメントのためにゼロから構築されたビデオアクション基盤モデルである。
高周波推論の要求を満たすため,本モデルは疎いMOEバックボーンを用いる。
現実のデプロイメントは、堅牢な基盤モデルとしてLingBot-VA 2.0を検証する。
論文 参考訳（メタデータ） (2026-07-09T16:15:43Z) - Humanizing Robot Gaze Shifts: A Framework for Natural Gaze Shifts in Humanoid Robots [9.261748165703024]
本稿では,認知的注意機構と生体模倣運動生成を統合したロボット・ゲイズ・シフト(Robo Gaze-Shift, RGS)フレームワークを提案する。
まず、RGSは視覚言語モデル(VLM)ベースの視線推論パイプラインを使用して、コンテキストに適した視線ターゲットを推論する。
第二に、RGSはアイヘッド座標のガウンシフト運動生成のための条件付きベクトル量子可変オートエンコーダ(VQ-VAE)モデルを導入している。
論文 参考訳（メタデータ） (2026-02-25T15:02:11Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。