論文の概要: Agent-to-Sim: Learning Interactive Behavior Models from Casual Longitudinal Videos

• arxiv url: http://arxiv.org/abs/2410.16259v1
• Date: Mon, 21 Oct 2024 17:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:16:04.292238
• Title: Agent-to-Sim: Learning Interactive Behavior Models from Casual Longitudinal Videos
• Title（参考訳）: Agent-to-Sim: Casual Longitudinal Videos を用いた対話行動モデル学習
• Authors: Gengshan Yang, Andrea Bajcsy, Shunsuke Saito, Angjoo Kanazawa,
• Abstract要約: Agent-to-Sim(ATS)は、カジュアルな縦長ビデオコレクションから3Dエージェントの対話的行動モデルを学ぶためのフレームワークである。 本研究では,標準3次元空間を通してエージェントとカメラを時間とともに追跡する粗大な登録手法を開発した。 次に,4次元再構成から検索したエージェントの知覚と運動のペアデータを用いて,エージェント行動の生成モデルを訓練する。
• 参考スコア（独自算出の注目度）: 39.83292509759384
• License:
• Abstract: We present Agent-to-Sim (ATS), a framework for learning interactive behavior models of 3D agents from casual longitudinal video collections. Different from prior works that rely on marker-based tracking and multiview cameras, ATS learns natural behaviors of animal and human agents non-invasively through video observations recorded over a long time-span (e.g., a month) in a single environment. Modeling 3D behavior of an agent requires persistent 3D tracking (e.g., knowing which point corresponds to which) over a long time period. To obtain such data, we develop a coarse-to-fine registration method that tracks the agent and the camera over time through a canonical 3D space, resulting in a complete and persistent spacetime 4D representation. We then train a generative model of agent behaviors using paired data of perception and motion of an agent queried from the 4D reconstruction. ATS enables real-to-sim transfer from video recordings of an agent to an interactive behavior simulator. We demonstrate results on pets (e.g., cat, dog, bunny) and human given monocular RGBD videos captured by a smartphone.
• Abstract（参考訳）: 本稿では,カジュアルな長手ビデオコレクションから3次元エージェントの対話行動モデルを学ぶためのフレームワークであるAgent-to-Sim(ATS)を提案する。 ATSは、マーカーベースのトラッキングとマルチビューカメラに依存する以前の研究とは異なり、動物や人間のエージェントの自然な振る舞いを、1つの環境で長い時間(例えば1ヶ月)にわたって記録されたビデオ観察を通して非侵襲的に学習する。 エージェントの3D動作をモデル化するには、長期にわたって永続的な3D追跡(例えば、どの点がどの点に対応するかを知る)が必要である。 このようなデータを得るために,標準3次元空間を通してエージェントとカメラを時間とともに追跡する粗大な登録法を開発し,完全かつ永続的な時空4次元表現を実現する。 次に,4次元再構成から検索したエージェントの知覚と運動のペアデータを用いて,エージェント行動の生成モデルを訓練する。 ATSは、エージェントのビデオ記録からインタラクティブな行動シミュレータへのリアルタイム転送を可能にする。 スマートフォンで撮影したペット(例えば、猫、犬、ウサギ)と人間のモノラルなRGBDビデオについて実験を行った。

関連論文リスト

• Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
  Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。 提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
  論文  参考訳（メタデータ） (2023-12-26T18:56:49Z)
• Virtual Pets: Animatable Animal Generation in 3D Scenes [84.0990909455833]
  仮想ペット(Virtual Pet)は、3次元環境下での標的動物種に対する現実的で多様な動きをモデル化するための新しいパイプラインである。 我々はモノクロインターネットビデオを活用し、背景と背景の静的なNeRF表現に対して変形可能なNeRF表現を抽出する。 我々は,種レベルの共有テンプレート学習とビデオ毎の微調整を含む再構築戦略を開発する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:30Z)
• T3VIP: Transformation-based 3D Video Prediction [49.178585201673364]
  本稿では,シーンを対象部品に分解することで3次元動きを明示的にモデル化する3次元映像予測手法を提案する。 我々のモデルは、完全に教師なしであり、現実世界の性質を捉え、画像と点のクラウド領域における観察の手がかりがその学習信号を構成する。 我々の知る限り、我々のモデルは、静止カメラの未来をRGB-Dビデオで予測する最初の生成モデルである。
  論文  参考訳（メタデータ） (2022-09-19T15:01:09Z)
• Embodied Scene-aware Human Pose Estimation [25.094152307452]
  シーン認識型人間のポーズ推定手法を提案する。 本手法は, シミュレーション環境下でのグローバルな3次元人間のポーズを再現し, 因果関係の1段階である。
  論文  参考訳（メタデータ） (2022-06-18T03:50:19Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• 3D-OES: Viewpoint-Invariant Object-Factorized Environment Simulators [24.181604511269096]
  本稿では、3次元ニューラルシーン表現空間におけるオブジェクトとエージェントの相互作用によるシーン変化を予測できる動作条件動的モデルを提案する。 この空間では、オブジェクトは互いに干渉せず、その外観は時間と視点にわたって持続する。 本モデルでは,対話対象の個数や外観,カメラ視点の多様さにまたがる予測をよく一般化することを示す。
  論文  参考訳（メタデータ） (2020-11-12T16:15:52Z)
• Learning 3D Dynamic Scene Representations for Robot Manipulation [21.6131570689398]
  ロボット操作のための3Dシーン表現は、永続性、完全性、連続性という3つの重要なオブジェクト特性を捉えなければならない。 本研究では3次元動的表現(DSR)を導入し,オブジェクトを同時に検出,追跡,再構成し,そのダイナミクスを予測する。 本稿では,DSRを段階的に構築・洗練するために,複数の相互作用を通して視覚的観察を集約することを学ぶDSR-Netを提案する。
  論文  参考訳（メタデータ） (2020-11-03T19:23:06Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。