論文の概要: TANDEM: Task and Motion Planning with As-Needed Demonstrations for Efficient Vision-Language-Action Model Fine-tuning

• arxiv url: http://arxiv.org/abs/2609.28314v1
• Date: Wed, 23 Sep 2026 15:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.10235
• Title: TANDEM: Task and Motion Planning with As-Needed Demonstrations for Efficient Vision-Language-Action Model Fine-tuning
• Title（参考訳）: TANDEM:高能率ビジョン・ランゲージ・アクション・モデルファインチューニングのためのAs-Needed Deposistrationsを用いたタスク・アンド・モーション・プランニング
• Abstract要約: TANDEM(Tamp with As-Needed Demonstrations for Efficient Model fine-tuning)は、TAMPと選択的遠隔操作を組み合わせたシステムで、プランナーの能力を超えたタスクのデモを収集する。 言語命令と視覚的観察が与えられた後、TANDEMは事前訓練された視覚言語モデルを使用して、不足した述語と人為的な魔法演算子で計画領域を拡張する。 人間のステージが終わると、TANDEMはシーンを再認識し、自律的な計画を立て直す前に意図した効果が保たれるかどうかをチェックする。
• 参考スコア（独自算出の注目度）: 10.215134535529414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human teleoperators spend substantial time demonstrating behaviors that robots can already perform autonomously, limiting the scalability of data collection for robot foundation models. Task and motion planning (TAMP) can automate many of these behaviors, but a fixed planning domain may not support every stage of a long-horizon manipulation task. We present TANDEM (Tamp with As-Needed Demonstrations for Efficient Model fine-tuning), a system that combines TAMP with selective human teleoperation to collect demonstrations for tasks beyond the planner's capabilities. Our key idea is to represent human assistance as an on-demand planning capability. Given a language instruction and visual observation, TANDEM uses pretrained vision-language models to extend the planning domain with missing predicates and human-executed magic operators. This allows the planner to interleave autonomous and human-executed stages without task-specific intervention points. After each human stage, TANDEM re-perceives the scene and checks whether the intended effects hold before resuming autonomous planning. To support fine-tuning vision-language-action (VLA) models, TANDEM also uses example pretraining trajectories to align planner-generated motions with the target model's pretraining distribution. We evaluate TANDEM on five long-horizon manipulation tasks beyond the TAMP domain's capabilities. On a representative long-horizon task, TANDEM collects 2.9x as many demonstrations as full-task teleoperation at the same human intervention time. Fine-tuning a pretrained π_{0.5}-DROID model on 20 TANDEM demonstrations per task increases average task success from 0% to 60% across the five tasks.
• Abstract（参考訳）: 人間の遠隔操作者は、ロボットが既に自律的に実行できる行動を示すのにかなりの時間を費やし、ロボット基礎モデルのデータ収集のスケーラビリティを制限する。 タスク・アンド・モーション・プランニング(TAMP)はこれらの動作の多くを自動化することができるが、固定的なプランニング・ドメインは長期にわたる操作タスクのすべての段階をサポートすることはできない。 提案するTANDEM(Tamp with As-Needed Demonstrations for Efficient Model Fine-tuning)は、TAMPと選択的遠隔操作を組み合わせたシステムで、プランナーの能力を超えたタスクのデモンストレーションを収集する。 私たちのキーとなるアイデアは、人間の援助をオンデマンドの計画能力として表現することです。 言語命令と視覚的観察が与えられた後、TANDEMは事前訓練された視覚言語モデルを使用して計画領域を拡張し、不足した述語と人為的なマジック演算子で拡張する。 これにより、プランナーは、タスク固有の介入ポイントなしで、自律的および人間によって実行されたステージをインターリーブすることができる。 人間のステージが終わると、TANDEMはシーンを再認識し、自律的な計画を立て直す前に意図した効果が保たれるかどうかをチェックする。 微調整型視覚言語アクション(VLA)モデルをサポートするため、TANDEMは、プランナー生成した動きを対象モデルの事前学習分布に合わせるために、サンプル事前学習トラジェクトリを使用する。 我々は、TAMPドメインの機能を超える5つの長期操作タスクについて、TANDEMを評価する。 典型的な長距離作業では、TANDEMは人間の介入時間でフルタスクの遠隔操作の2.9倍のデモを収集する。 π_{0.5}-DROIDモデルをタスク毎の20のTANDEMデモで微調整すると、5つのタスクの平均タスク成功率は0%から60%に向上する。

関連論文リスト

• Large Video Planner Enables Generalizable Robot Control [117.49024534548319]
  汎用ロボットは、様々なタスクや環境にまたがって一般化する意思決定モデルを必要とする。 最近の研究は、マルチモーダル大言語モデル(LM)をアクション出力で拡張し、視覚-アクション(VLA)システムを構築することで、ロボット基盤モデルを構築している。 本稿では,ロボット基礎モデル構築における主要なモダリティとして,大規模ビデオ事前学習を用いるための代替パラダイムについて検討する。
  論文  参考訳（メタデータ） (2025-12-17T18:35:54Z)
• Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models [49.4824734958566]
  カオス・オブ・モダリティ(CoM)は、ビジョン言語モデルがマルチモーダルな人間の実演データを推論することを可能にする。 CoMはタスクプランを洗練し、詳細な制御パラメータを生成し、ロボットは単一のマルチモーダルなヒューマンビデオプロンプトに基づいて操作タスクを実行できる。
  論文  参考訳（メタデータ） (2025-04-17T21:31:23Z)
• A Task and Motion Planning Framework Using Iteratively Deepened AND/OR Graph Networks [3.635602838654497]
  本稿では,AND/ORグラフネットワークに基づくタスクと動作計画の統合手法を提案する。 タスク・アンド・モーション・プランニング問題(TAMP)の異なるクラスの実装に活用する。 このアプローチは、シミュレーションと実際のデュアルアームロボットマニピュレータ、すなわちRethink RoboticsのBaxterで評価され、検証されている。
  論文  参考訳（メタデータ） (2025-03-10T17:28:22Z)
• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• Grounding Language Models in Autonomous Loco-manipulation Tasks [3.8363685417355557]
  異なるシナリオにおけるタスクに基づいて行動を学び、選択し、計画する新しいフレームワークを提案する。 我々は,大規模言語モデル(LLM)の計画と推論機能を活用し,階層的なタスクグラフを構築する。 CENTAUROロボットを用いたシミュレーションおよび実世界の実験により、言語モデルに基づくプランナーが、新しいロコ操作タスクに効率的に適応できることが示されている。
  論文  参考訳（メタデータ） (2024-09-02T15:27:48Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks [0.0]
  本研究では,ロボット操作分野における教師なし視覚-言語-アクションマッピングに着目した。 本研究では,シミュレータにおけるモデルの性能を最大55%向上させるモデル不変学習法を提案する。 我々の研究は、ロボット運動軌跡の教師なし学習に現在のマルチモーダルVAEを使用することの潜在的な利点と限界にも光を当てている。
  論文  参考訳（メタデータ） (2024-04-02T13:25:16Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Human-in-the-Loop Task and Motion Planning for Imitation Learning [37.75197145733193]
  人間のデモからの模倣学習は、ロボットに複雑な操作スキルを教えることができるが、時間がかかり労働が集中している。 対照的に、タスク・アンド・モーション・プランニング(TAMP)システムは自動化されており、長距離タスクの解決に優れています。 両アプローチの利点を生かした新しいシステムであるHuman-in-the-Loop Task and Motion Planning (HITL-TAMP)を提案する。
  論文  参考訳（メタデータ） (2023-10-24T17:15:16Z)
• It Takes Two: Learning to Plan for Human-Robot Cooperative Carrying [0.6981715773998527]
  本研究では,協調型ロボットチームにおけるテーブルキャリング作業における現実的な動作計画の予測手法を提案する。 変動リカレントニューラルネットワーク(VRNN)を用いて、時間とともに人間のロボットチームの軌道の変動をモデル化する。 本モデルでは, ベースライン型集中型サンプリングベースプランナに比べて, より人間的な動きを生成できることを示す。
  論文  参考訳（メタデータ） (2022-09-26T17:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。