論文の概要: Learning Predictive Visuomotor Coordination

• arxiv url: http://arxiv.org/abs/2503.23300v1
• Date: Sun, 30 Mar 2025 03:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.045497
• Title: Learning Predictive Visuomotor Coordination
• Title（参考訳）: 予測的ビジュモータコーディネーションの学習
• Authors: Wenqi Jia, Bolin Lai, Miao Liu, Danfei Xu, James M. Rehg,
• Abstract要約: 本研究は,ビジュモータモデリングのための予測に基づくタスクを導入する。 目標は、自我中心の視覚的および運動学的観察から頭部のポーズ、視線、上体の動きを予測することである。 我々は,エゴセントリックな視覚とキネマティックなシーケンスを統合した拡散に基づく運動モデリングフレームワークを拡張した。
• 参考スコア（独自算出の注目度）: 25.41320518416861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding and predicting human visuomotor coordination is crucial for applications in robotics, human-computer interaction, and assistive technologies. This work introduces a forecasting-based task for visuomotor modeling, where the goal is to predict head pose, gaze, and upper-body motion from egocentric visual and kinematic observations. We propose a \textit{Visuomotor Coordination Representation} (VCR) that learns structured temporal dependencies across these multimodal signals. We extend a diffusion-based motion modeling framework that integrates egocentric vision and kinematic sequences, enabling temporally coherent and accurate visuomotor predictions. Our approach is evaluated on the large-scale EgoExo4D dataset, demonstrating strong generalization across diverse real-world activities. Our results highlight the importance of multimodal integration in understanding visuomotor coordination, contributing to research in visuomotor learning and human behavior modeling.
• Abstract（参考訳）: ロボット工学、人間とコンピュータの相互作用、および補助技術への応用において、人間の視覚運動調整を理解し予測することが不可欠である。 本研究は,自我中心の視覚的および運動学的観察から頭部のポーズ,視線,上半身の動きを予測することを目的として,視覚運動モデリングのための予測に基づくタスクを導入する。 本稿では,これらのマルチモーダル信号にまたがる時間的依存関係の構造化を学習する‘textit{Visuomotor Coordination Representation} (VCR) を提案する。 我々は,エゴセントリックな視覚と運動列を統合した拡散に基づく運動モデリングフレームワークを拡張し,時間的コヒーレントかつ正確な視覚運動予測を可能にする。 提案手法は大規模EgoExo4Dデータセットを用いて評価し,多様な実世界の活動にまたがる強力な一般化を実証する。 本研究は,ビズモータ協調の理解におけるマルチモーダル統合の重要性を強調し,ビズモータ学習と人間行動モデリングの研究に寄与する。

関連論文リスト

• A Data-Centric Revisit of Pre-Trained Vision Models for Robot Learning [67.72413262980272]
  事前訓練された視覚モデル(PVM)は現代のロボティクスの基本であるが、その最適構成は定かではない。 セマンティック・ボトルネックを導入してオブジェクト中心の表現を誘導する手法であるSlotMIMを開発した。 提案手法は,画像認識,シーン理解,ロボット学習評価において,従来の作業よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-03-10T06:18:31Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Learn to Predict How Humans Manipulate Large-sized Objects from Interactive Motions [82.90906153293585]
  本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。 動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2022-06-25T09:55:39Z)
• GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
  本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。 私たちのデータ収集は特定のシーンに縛られません。 視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-04-20T13:17:39Z)
• Beyond Tracking: Using Deep Learning to Discover Novel Interactions in Biological Swarms [3.441021278275805]
  本稿では,システムレベルの状態を全体像から直接予測するディープ・ネットワーク・モデルを提案する。 結果の予測モデルは、人間の理解した予測モデルに基づいていないため、説明モジュールを使用する。 これは、行動生態学における人工知能の例である。
  論文  参考訳（メタデータ） (2021-08-20T22:50:41Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• Deep Interpretable Models of Theory of Mind For Human-Agent Teaming [0.7734726150561086]
  我々は、他の観測対象の意図をモデル化するための解釈可能なモジュラー・ニューラル・フレームワークを開発する。 Minecraftの検索および救助タスクで、人間の参加者のデータに関する実験を行い、アプローチの有効性を実証します。
  論文  参考訳（メタデータ） (2021-04-07T06:18:58Z)
• LEMMA: A Multi-view Dataset for Learning Multi-agent Multi-task Activities [119.88381048477854]
  LEMMAデータセットを導入し、細心の注意深い設定で、行方不明な次元に対処するための単一の家を提供する。 我々は、人間と物体の相互作用による原子間相互作用を密に注釈し、日常の活動の構成性、スケジューリング、割り当ての土台として提供する。 この取り組みにより、マシンビジョンコミュニティは、目標指向の人間活動を調べ、現実世界におけるタスクのスケジューリングと割り当てをさらに研究できることを期待します。
  論文  参考訳（メタデータ） (2020-07-31T00:13:54Z)
• Learning intuitive physics and one-shot imitation using state-action-prediction self-organizing maps [0.0]
  人間は探索と模倣によって学び、世界の因果モデルを構築し、両方を使って新しいタスクを柔軟に解決する。 このような特徴を生み出す単純だが効果的な教師なしモデルを提案する。 エージェントがアクティブな推論スタイルで柔軟に解決する、複数の関連するが異なる1ショットの模倣タスクに対して、その性能を示す。
  論文  参考訳（メタデータ） (2020-07-03T12:29:11Z)
• Toward Improving the Evaluation of Visual Attention Models: a Crowdsourcing Approach [21.81407627962409]
  最先端のモデルは、人間のデータからサリエンシマップを学習することに焦点を当てている。 私たちは、現在の測定値の限界を、唾液度予測とスキャンパス類似性に強調する。 本研究では, 教師なし重力モデルによって生じる走査パスが, 有能で有能な人間の観察者にとっていかに有用かを評価することを目的とした研究である。
  論文  参考訳（メタデータ） (2020-02-11T14:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。