論文の概要: PINT: A Unified Model with Shared Predictive Intent for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2610.16355v1
• Date: Mon, 12 Oct 2026 08:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:16:35.701292
• Title: PINT: A Unified Model with Shared Predictive Intent for Robot Manipulation
• Title（参考訳）: PINT:ロボット操作のための予測インテントを共有化した統一モデル
• Abstract要約: 汎用ロボット操作は、セマンティック推論のための事前訓練された視覚言語モデル(VLM)と世界モデリングのためのビデオ生成モデル(VGM)の恩恵を受けることができる。 我々は,意味的推論,世界モデリング,行動生成を協調する統一モデルであるPINTを紹介した。
• 参考スコア（独自算出の注目度）: 41.52818151050268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalist robot manipulation can benefit from pretrained vision-language models (VLMs) for semantic reasoning and video generation models (VGMs) for world modeling. However, existing unified models that directly fuse them through shared attention at multiple layers can make it harder to draw on their specialized capabilities. We introduce PINT, a unified model that coordinates semantic reasoning, world modeling, and action generation through a shared chunk-level Predictive Intent while preserving expert-specific pathways. PINT inserts learnable Intent Tokens into the VLM sequence to form this representation, conditioning both the VGM and an Action Expert (AE). It replaces only the VGM's prompt conditioning and retains the VGM at inference, where the AE reads its representations through one-way attention. Rather than prescribing what Predictive Intent should encode, PINT learns it jointly from the native prediction objectives of the VLM, VGM, and AE, which provide complementary views of the same upcoming task execution. Training uses two stages: Stage 1 freezes the VGM so that future video prediction shapes Predictive Intent with task-relevant future dynamics, while Stage 2 fixes the learned Intent and adapts the VGM and AE. Without embodied pretraining, PINT achieves strong in-distribution (ID) performance and substantially improves out-of-distribution (OOD) generalization, reaching 15.5% on RoboTwin 2.0-Hard compared with 1.8% for Fast-WAM and 3.2% for StarVLA, and 79.5% on LIBERO-Plus compared with 51.5% and 75.0%, respectively. Across five real-world bimanual tasks, PINT reaches 68% ID and 24% OOD success, compared with 35%/9% for pretrained Motus and 67%/35% for pretrained $π_{0.5}$.
• Abstract（参考訳）: 汎用ロボット操作は、セマンティック推論のための事前訓練された視覚言語モデル(VLM)と世界モデリングのためのビデオ生成モデル(VGM)の恩恵を受けることができる。 しかし、複数のレイヤで共有された注意を通してそれらを直接融合する既存の統一モデルは、それらの特殊能力を引き出すのを難しくする。 PINTは、意味論的推論、世界モデリング、行動生成を、専門家固有の経路を保ちながら共有されたチャンクレベル予測インテントを通じて協調する統合モデルである。 PINTは学習可能なIntent TokensをVLMシーケンスに挿入し、この表現を形成し、VGMとAction Expert(AE)の両方を条件付ける。 これはVGMのプロンプト条件のみを置き換え、推論時にVGMを保ち、AEはその表現を片道の注意を通して読み取る。 Predictive Intentが何をエンコードすべきかを規定する代わりに、PINTはVLM、VGM、AEのネイティブ予測目標から共同で学習し、同じタスクの実行を補完するビューを提供する。 トレーニングには2つのステージを使用する: ステージ1はVGMを凍結し、将来のビデオ予測形状はタスク関連将来のダイナミクスによる予測インテント、ステージ2は学習インテントを修正し、VGMとAEを適応させる。 具体的事前訓練がなければ、PINTは強力な内配(ID)性能を達成し、RoboTwin 2.0-Hardで15.5%、Fast-WAMで1.8%、StarVLAで3.2%、LIBERO-Plusで79.5%をそれぞれ51.5%、75.0%に向上する。 PINTは5つの実世界のバイマダルタスクでIDが68%、OODが24%、事前トレーニングされたMotusが35%/9%、事前トレーニングされた$π_{0.5}$が67%/35%に達した。

関連論文リスト

• AutodidactWAM: Cross-Modal Self-Distillation from Generated Video to Robot Actions [2.2935396753701065]
  世界行動モデル(WAM)は、観察と指示から将来のビデオとロボットのアクションを共同で生成する。 クローズドループ実ロボット試験を3段階の累積段階(プレグラス,グリップ,ピック・アンド・プレイス)で評価した。 本稿では,遠隔操作を伴わない手動推定器AutodidactWAMを提案する。
  論文  参考訳（メタデータ） (2026-10-06T10:39:42Z)
• EVO-WAM: Evolving World Action Models through Video-Action Verification [51.68210232964847]
  EVO-WAMは、自身の生成したビデオアクション軌跡から学習することで、WAMを見えないタスクに適応するフレームワークである。 コスモス3の平均成功率は20.0%から76.7%に改善され、56.7%となった。
  論文  参考訳（メタデータ） (2026-09-29T17:25:35Z)
• GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
  本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。 制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。 それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
  論文  参考訳（メタデータ） (2026-09-04T17:16:48Z)
• G0.5: One Autoregressive Stream for Robot Reasoning and Action [43.43377463558725]
  本稿では,1つの変圧器デコーダが1つの目的の下で推論とアクショントークンを出力する,事前訓練された自己回帰VLAであるG0.5を紹介する。 推論とアクションは1組の重みを共有しているため、事前訓練されたVLMの能力は物理的な振る舞いへと引き継がれる。 G0.5は7つの独立した体制で最先端のモデルを上回っている。
  論文  参考訳（メタデータ） (2026-08-12T07:26:47Z)
• Grounded World Model for Semantically Generalizable Planning [94.53923128709965]
  我々は、視覚言語対応の潜在空間において、グラウンドドワールドモデル(GWM)を学習する。 提案された各アクションは、タスク命令に対する将来の結果がどの程度近いかに基づいてスコアされる。 提案したWISERベンチマークでは、GWM-MPCはテストセットで87%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-04-13T17:25:41Z)
• Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
  DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。 今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。 CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
  論文  参考訳（メタデータ） (2026-03-27T17:20:10Z)
• V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning [46.89986408533846]
  V-JEPA 2.1は、画像とビデオの両方の濃密で高品質な視覚表現を学習する自己教師型モデルのファミリーである。 V-JEPA 2.1は、密集した視覚的理解と世界モデリングにおける最先端の進歩を示す。
  論文  参考訳（メタデータ） (2026-03-15T17:02:40Z)
• VITA-VLA: Efficiently Teaching Vision-Language Models to Act via Action Expert Distillation [76.13140980997508]
  VLA(Vision-Language Action)モデルは、事前訓練された視覚言語モデル(VLM)の強い知覚能力を活用することにより、ロボット操作を著しく向上させる。 本稿では,VLMに事前訓練された小規模な行動モデルから知識を伝達することで,動作実行能力を持たせる,簡易かつ効果的な蒸留ベースフレームワークを提案する。 5つの操作課題にわたる実世界の実験において,本手法は教師モデルより一貫して優れ,82.0%の成功率(17%改善)を達成した。
  論文  参考訳（メタデータ） (2025-10-10T17:59:56Z)
• VEDIT: Latent Prediction Architecture For Procedural Video Representation Learning [59.68917139718813]
  そこで本研究では,市販の冷凍型ビジュアルエンコーダを用いて,予測および手続き計画において,最先端(SoTA)の性能を達成可能であることを示す。 観察されたステップから凍結したクリップレベルの埋め込みを条件付けて、目に見えないステップの動作を予測することで、予測のための堅牢な表現を学習することができる。
  論文  参考訳（メタデータ） (2024-10-04T14:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。