論文の概要: Keep the Effect, Drop the Actor: Programmable Effect-to-Execution World-Action Models
- arxiv url: http://arxiv.org/abs/2610.02398v1
- Date: Thu, 01 Oct 2026 19:25:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.058001
- Title: Keep the Effect, Drop the Actor: Programmable Effect-to-Execution World-Action Models
- Title（参考訳）: 効果を保ち、アクターを落とそう:プログラマブルエフェクト・ツー・エキシビション・ワールド・アクション・モデル
- Abstract要約: PEWAMは、独立したフローマッチング時間を持つ4つのストリームとして、エフェクト、ロボット実行、アクション、端末状態を生成する。
保持されたLIBERO-Goalタスクでは、デモのプログラムが90エピソード中40エピソードを完了し、同じバックボーンがゴールイメージまたは言語を与え、デモ条件付きメソッドを発行する。
プログラムは座標の集合であるので、人はそれを編集できる。配置はシフトした端末状態に従い、グリップは回転した接触点で回転する。
- 参考スコア（独自算出の注目度）: 7.9328487827078975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A robot demonstration records two things in the same frames: what happened to the objects, and how one particular arm made it happen. We condition on the first. A demonstration is compiled into an effect program: the 3D keypoint trajectories of the objects that moved, two points marking where each was held, and the configuration the scene ends in, with the demonstrator removed. PEWAM, a 71.5M-parameter world-action model, generates effect, robot execution, action and terminal state as four streams with independent flow-matching times, so clamping a program and sampling the execution turns inference into programming, re-solved closed loop from the live scene. On held-out LIBERO-Goal tasks, one demonstration's program completes 40 of 90 episodes, where the same backbone given a goal image or language, and published demonstration-conditioned methods, complete at most 19; on three of Meta-World's held-out classes it exceeds the best published results, though not on the five-class mean. Because a program is a set of coordinates, a person can edit it: the placement follows a shifted terminal state and the grasp turns with rotated contact points. The same program runs on four robot arms without retraining, and after a push, re-solving completes 23 of 60 episodes where replaying the demonstration completes 6. On a Franka arm, fine-tuned on real demonstrations of other tasks, programs compiled from single human videos complete 36 of 40 trials, against 22 for the same backbone conditioned on the video's last frame as a goal image.
- Abstract（参考訳）: ロボットのデモでは、2つのことを同じフレームで記録しています。
第一に条件を定める。
デモはエフェクトプログラムにコンパイルされる:移動したオブジェクトの3Dキーポイント軌跡、それぞれが保持された場所を示す2つのポイント、そしてシーンが終了する構成。
71.5MパラメータのワールドアクションモデルであるPEWAMは、独立したフローマッチング時間を持つ4つのストリームとしてエフェクト、ロボット実行、アクション、端末状態を生成する。
保持されたLIBERO-Goalタスクでは、デモのプログラムが90エピソード中40エピソードを完了し、同じバックボーンがゴールイメージや言語を与え、デモ条件付きメソッドを少なくとも19の時点で発行する。
プログラムは座標の集合であるので、人はそれを編集できる。配置はシフトした端末状態に従い、グリップは回転した接触点で回転する。
同じプログラムは、リトレーニングなしで4つのロボットアームで実行され、プッシュ後、60エピソード中23エピソードをリプレイし、デモを6回再生する。
フランカの腕では、他のタスクの実際のデモを微調整し、1人の人間のビデオからコンパイルされたプログラムが40回のトライアルのうち36回を完了し、22回はゴール画像としてビデオの最後のフレームに設定された同じバックボーンに対して行われた。
関連論文リスト
- PointCast: One World Model for Rigid, Articulated, and Deformable Object Manipulation [9.565234850850489]
PointCastは、厳密で明瞭で変形可能なオブジェクト操作にまたがるポイントセットの世界モデルである。
その状態は、オブジェクトとエンドエフェクタ、メッシュフリー、トポロジーに依存しない3Dポイントのセットである。
19.8Mパラメータのこの1つのアーキテクチャと1つのトレーニングレシピは、4つのレシエーション、剛体オブジェクト、布、ロープ、多関節キャビネットをカバーしている。
論文 参考訳（メタデータ） (2026-09-23T17:02:18Z) - DemoBridge: A Simulation-in-the-Loop Toolkit for Single-View Human Demonstration Retargeting [49.70827726228219]
このツールキットは、人間の手による実演のシングルビューRGBステレオ記録を、物理で検証可能なロボットアーム軌道に変換する。
DemoBridgeの中核は、衝突を意識した単一のプランナーである。
物理シミュレーターはループ内で動作し、生成した各フェーズを検証し、障害時にバックトラックするので、与えられたように再生できないデモは破棄されるのではなく、再計画される。
論文 参考訳（メタデータ） (2026-07-10T15:31:04Z) - What-If World: A Causal Benchmark for General World Models in Embodied Scenarios [23.527918480081013]
ビデオ生成モデルは、運転やロボット操作といったタスクのための世界シミュレータとして、ますます使われている。
これらの設定で重要なのは、単一のビデオが正しく見えるかどうかではなく、入力が変わったときにモデルの出力が変わるかどうかです。
我々は、同じシーンを1つの物理的詳細で記述した2つのプロンプトをモデルに与え、この2つのビデオが物理の予測方法が異なるかどうかを確認することによって、これを検証した。
論文 参考訳（メタデータ） (2026-05-26T19:02:26Z) - GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation [72.52773248997929]
ビデオワールドモデルは、1つの命令から現実的な未来を生成できるが、時間とともに一貫したポイントレベルの動きを維持できないことが多い。
GEM-4Dは、トレーニング中にビデオ生成バックボーンに高密度な4D対応制御を注入する幾何学的地上ビデオワールドモデルである。
Inverse dynamicsモジュールは、対応性のあるビデオロールアウトを実行可能なロボットトラジェクトリに変換し、現実世界とシミュレーション操作の両方で直接デプロイできる。
論文 参考訳（メタデータ） (2026-05-20T21:36:44Z) - How to Instruct Your Robot: Dense Language Annotations Power Robot Policy Learning [69.68882580009982]
デモセグメントをVLM生成アノテーションでラベル付けする2段階のアプローチであるDeMiAnを紹介する。
学習したインストラクターがタスク記述と初期シーンスナップショットをデプロイ時にタスクに適したアノテーションにマップする。
RoboCasaでは、インストラクターはタスクのみのベースラインで5ポイント成功し、タスクごとのオラクルの3ポイント以内に到達する。
論文 参考訳（メタデータ） (2026-05-16T16:52:08Z) - Motion Tracks: A Unified Representation for Human-Robot Transfer in Few-Shot Imitation Learning [46.0173222755542]
本稿では,画像上の2次元短距離軌跡として行動を表現することを提案する。
これらの動作、つまりモーショントラックは、人間の手やロボットのエンドエフェクターの動作の予測方向を捉えます。
画像観察を受信し,動作トラックを動作として出力する,MT-pi(Motion Track Policy)と呼ばれるILポリシをインスタンス化する。
論文 参考訳（メタデータ） (2025-01-13T01:01:44Z) - Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。
まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。
この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。
両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文 参考訳（メタデータ） (2024-09-26T17:57:16Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。