論文の概要: AgentDreamer: Agentic 3D Motion Reasoning for Text-Controllable Physics Simulation

• arxiv url: http://arxiv.org/abs/2610.30679v1
• Date: Thu, 22 Oct 2026 03:46:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.204048
• Title: AgentDreamer: Agentic 3D Motion Reasoning for Text-Controllable Physics Simulation
• Title（参考訳）: AgentDreamer:テキスト制御可能な物理シミュレーションのためのエージェント3Dモーション推論
• Abstract要約: AgentDreamerはエージェント誘導最適化フレームワークで、テキスト命令とシミュレートされたモーションをアライメントする。 マスク付きテキスト復元に基づくテキスト・モーションアライメントのための情報理論であるMotion-IGを導入する。
• 参考スコア（独自算出の注目度）: 36.22782590218919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose AgentDreamer, an agent-guided optimization framework that aligns text instructions with simulated motion through explicit 3D motion planning. Given a text instruction and scene geometry, an off-the-shelf agent translates the instruction into a structured semantic motion prior, specifying what should move, in which direction, and in what temporal order. The agent represents this prior using parametric functions over a series of temporal chunks, yielding dense 3D trajectories. We then optimize the parameters of a differentiable MPM simulator such that its rollout best matches the prior while remaining constrained by the scene dynamics. This allows the agent to provide semantic guidance from language, while the simulator grounds it in physically feasible motion. We further introduce Motion-IG, an information-theoretic metric for text-motion alignment based on masked text recovery. By comparing the likelihood of recovering masked motion-related content with and without the simulated motion, Motion-IG measures the information contributed by the motion beyond that available from the remaining text and scene context. Experiments show that AgentDreamer improves text alignment over video-based guidance, producing simulations that more closely follow the requested physical behavior.
• Abstract（参考訳）: 本稿では,エージェント誘導型最適化フレームワークであるAgentDreamerを提案する。 テキスト命令とシーン幾何学が与えられた後、オフザシェルフエージェントは、命令を前もって構造化されたセマンティックな動作に変換し、何が動くべきか、どの方向、どの時間順序で進むべきかを指定する。 このエージェントは、一連の時間的チャンク上でパラメトリック関数を使用して、より密集した3次元軌道を生成する。 次に,MPMシミュレータのパラメータを最適化し,そのロールアウトがシーンダイナミックスに制約されたまま,先行値に最もよく一致するようにした。 これによりエージェントは言語からのセマンティックガイダンスを提供することができ、シミュレータはそれを物理的に実現可能な動作でグラウンドする。 さらに,マスク付きテキスト復元に基づくテキスト・モーションアライメントのための情報理論であるMotion-IGを導入する。 マスクされた動き関連コンテンツとシミュレーションされた動きの有無を比較することで、Motion-IGは残りのテキストやシーンコンテキストから得られる以上の動きから得られる情報を計測する。 実験により、AgentDreamerはビデオベースのガイダンスよりもテキストアライメントを改善し、要求された物理的振る舞いをより密接に追従するシミュレーションを生成する。

関連論文リスト

• SimWorlds: A Multi-Agent System for Dynamic 3D Scene Creation [50.175987640001644]
  テキストから動的に編集可能な4Dシーンを生成するマルチエージェントフレームワークであるSimWorldsを紹介する。 また,プロシージャのダイナミックな3Dシーンの視覚的忠実度と身体的整合性を評価するベンチマークである4DBuildBenchも導入した。
  論文  参考訳（メタデータ） (2026-07-02T06:29:18Z)
• In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics [109.99871326497333]
  In-Context Model Predictive Generation (ICMPG)は、言語モデル計画と推論時の物理的フィードバックを統合するフレームワークである。 ICMPGは2つのモジュールでモデル予測制御(MPC)のようなプロセスとして運動合成を再構成する。
  論文  参考訳（メタデータ） (2026-06-25T12:50:33Z)
• MotionAgent: Fine-grained Controllable Video Generation via Motion Field Agent [55.15697390165972]
  テキスト誘導画像-映像生成のための微粒なモーション制御を実現するMotionAgentを提案する。 キーとなる技術は、テキストプロンプトの動作情報を明示的な運動場に変換するモーション・フィールド・エージェントである。 我々はVBenchのサブセットを構築し、テキストと生成されたビデオの動作情報のアライメントを評価する。
  論文  参考訳（メタデータ） (2025-02-05T14:26:07Z)
• MotionScript: Natural Language Descriptions for Expressive 3D Human Motions [6.710007544943157]
  人間の3次元動作の詳細な自然言語記述を生成するための新しいフレームワークであるMotionScriptを紹介した。 MotionScriptは、人間の動きの完全な複雑さを捉える、きめ細かい構造化された記述を提供する。 MotionScriptは、テキスト・トゥ・モーションモデルのための記述ツールとトレーニングリソースの両方として機能する。
  論文  参考訳（メタデータ） (2023-12-19T22:33:17Z)
• TLControl: Trajectory and Language Control for Human Motion Synthesis [68.09806223962323]
  本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。 低レベルのTrajectoryと高レベルのLanguage semanticsコントロールが組み込まれている。 インタラクティブで高品質なアニメーション生成には実用的である。
  論文  参考訳（メタデータ） (2023-11-28T18:54:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。