論文の概要: Unifying Policy Learning and State Prediction through Spatial Language Modeling

• arxiv url: http://arxiv.org/abs/2610.12172v1
• Date: Thu, 08 Oct 2026 15:43:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.125195
• Title: Unifying Policy Learning and State Prediction through Spatial Language Modeling
• Title（参考訳）: 空間言語モデリングによる政策学習と状態予測の統合
• Abstract要約: 本研究では,シーンの輪郭,目標,行動目標,将来の状態を個別座標と意味トークンの共通語彙で表現する空間言語モデリングを提案する。 タスク固有の文法はこれらの要素を空間配列に整理し、1つの自己回帰変換器が行動生成と行動条件付き状態予測を学習できるようにする。 ランダム・プレイ・トランジション・プレトレーニングを駆使してモデルをスクラッチからトレーニングし、その後、専門家によるデモンストレーションで共同動作と状態トレーニングを行う。
• 参考スコア（独自算出の注目度）: 52.172884936392535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning how actions change scene geometry can provide complementary supervision for goal-directed manipulation. We introduce Spatial Language Modeling, which represents scene contours, goals, action targets, and future states with a shared vocabulary of discrete coordinates and semantic tokens. A task-specific grammar organizes these elements into spatial sequences, allowing one autoregressive Transformer to learn action generation and action-conditioned state prediction through a common next-token objective. We train the model from scratch using random-play transition pretraining followed by joint action and state training on expert demonstrations. During pretraining, recorded action coordinates condition subsequent state predictions and are excluded from the prediction loss. During control, the model decodes only executable action targets and updates its history with newly observed states. We evaluate the approach on Push-T in simulation and on a real robot. The model achieves competitive simulation performance and higher task success and target coverage than the evaluated real-robot policy baselines. Training ablations show improved control with joint action and state sequences, with further gains from random-play pretraining. Given supplied action trajectories, the same model also predicts successive scene states, capturing the geometric effects of pushing.
• Abstract（参考訳）: アクションがどのようにシーンジオメトリを変えるかを学ぶことで、ゴール指向の操作を補完する監視が可能になる。 本稿では,シーンの輪郭,目標,行動目標,将来の状態を表す空間言語モデリングについて,個別座標と意味トークンの共通語彙を用いて紹介する。 タスク固有の文法はこれらの要素を空間配列に整理し、1つの自己回帰変換器が共通の次の目的を通じて行動生成と行動条件付き状態予測を学習できるようにする。 ランダム・プレイ・トランジション・プレトレーニングを駆使してモデルをスクラッチからトレーニングし、その後、専門家によるデモンストレーションで共同動作と状態トレーニングを行う。 事前訓練中、記録された動作座標は、その後の状態予測を条件付きで調整し、予測損失から除外する。 制御中、モデルは実行可能なアクションターゲットのみをデコードし、その履歴を新たに観測された状態で更新する。 シミュレーションおよび実ロボットにおけるPush-Tのアプローチを評価する。 このモデルは,評価された実ロボットポリシーベースラインよりも,競争シミュレーション性能とタスク成功率,目標カバレッジを実現している。 トレーニングの短縮は、ランダムプレイ事前トレーニングによってさらに向上した、ジョイントアクションとステートシーケンスによる制御の改善を示す。 供給された動作軌跡が与えられた場合、同じモデルは連続したシーン状態を予測し、プッシュの幾何学的効果をキャプチャする。

関連論文リスト

• ForeAct3D: Policy-Grounded Future World Modeling for VLA Policies [28.246787329202586]
  我々は、ビジョン・ランゲージ・アクション・ポリシーの中で、ポリシーに基づく未来の世界モデリングのためのフレームワークであるForeAct3Dを紹介する。 ForeAct3D は LIBERO で平均98.3%、CALVIN で平均タスク長 3.73 を達成し、全てのスイートで基本方針を上回っている。
  論文  参考訳（メタデータ） (2026-10-03T15:49:04Z)
• Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models [129.76412745258145]
  World Action Models(WAM)は、視覚力学予測とアクション生成を結合するが、操作タスク間のアクションエクスペリエンスの再利用を明示的にサポートしていない。 本研究では,歴史的行動軌跡を共有行動埋め込みにエンコードするアクション体験辞書(AED)を開発した。 シミュレーション・ベンチマークと実世界のクロス・エボディメント・セッティングの実験により,AEDの有効性が検証された。
  論文  参考訳（メタデータ） (2026-09-30T17:26:38Z)
• Dynamic Manipulation with World-Action Models via Counterfactual Planning [44.2424326475039]
  World-Actionモデルは、必要な操作スキルを持っている場合でも、動作中のターゲットを操作するのに失敗することが多い。 本研究では,実行に使用する物理状態から計画生成に使用するコンテキストを分離することにより,動的操作を対物計画として定式化する。 我々のフレームワークである動的予測計画 (Dynamic Predictive Planning, DPP) は、まずWAMの予測ロールアウトを用いて、相互作用の発生時期を推定し、このタイミング推定と観測対象の動きを組み合わせ、ターゲットの将来の相互作用位置を予測する。 そして、DPPは、この予測された目標位置を馴染みのあるロボットコンテキストに配置し、モデルが既存のロボットを起動できるようにする対物観測を構築する。
  論文  参考訳（メタデータ） (2026-09-27T03:48:20Z)
• Dynin-Robotics: Omnimodal Unified Diffusion Vision-Language-Action Model [7.384043308834925]
  視覚目標とダイナミックス予測は、目標とする結果とアクションに依存したシーン変化の表現の両方で言語条件のロボットポリシーを提供することができる。 ダイニン・ロボティクスはこの定式化をダイニン・オムニに実装し、言語、視覚的観察、ゴール、アクションを離散トークンとして表現している。 我々は、48のOpen X-Embodimentデータセットから約133万の軌道上でモデルを継続的に事前訓練し、下流ドメインに個別に適応する。
  論文  参考訳（メタデータ） (2026-09-11T16:49:26Z)
• From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
  将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。 我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-12T14:15:16Z)
• AGWM: Affordance-Grounded World Models for Environments with Compositional Prerequisites [18.635313325437664]
  我々は,行動の動的実行可能性を明確に追跡するために,前提条件依存のDAGとして表される抽象的な空き構造を学習するAGWM(Affordance-Grounded World Model)を提案する。 ゲームベースのシミュレーション環境の実験では、より低いマルチステップ予測誤差、新しい構成へのより良い一般化、解釈可能性の向上により、本手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-05-07T18:46:44Z)
• Learning Lifted Action Models from Unsupervised Visual Traces [38.479081137300945]
  本研究では,状態予測,行動予測,持ち上げ行動モデルなどを共同で学習するディープラーニングフレームワークを提案する。 また,予測崩壊や自己強化エラーを防止するために,MILP(mixed-integer linear program)を導入する。 複数の領域にわたる実験により、MILPベースの補正を統合することで、モデルが局所最適から逃れ、一貫した解へと収束することを示す。
  論文  参考訳（メタデータ） (2026-04-21T03:49:04Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。