論文の概要: Bridging Frontier Reasoning and Robot Execution: From Autonomous Demonstration Generation to Dense Language Supervision
- arxiv url: http://arxiv.org/abs/2610.03615v1
- Date: Fri, 02 Oct 2026 17:12:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.508951
- Title: Bridging Frontier Reasoning and Robot Execution: From Autonomous Demonstration Generation to Dense Language Supervision
- Title(参考訳): ブリッジングフロンティア推論とロボット実行:自律的なデモ生成からDense Language Supervisionへ
- Abstract要約: 私たちはフロンティアモデルを使用して、高速なローカルポリシーのトレーニングのために人間のデモを補完するデモを自律的に生成します。
ハーネスはフロンティア生成命令と高速なローカルポリシを組み合わせることで、モデルがアクションを誘導し修正する能力を保ちながら効率的な実行を可能にする。
固定時間予算内でセマンティックプランニングと操作を組み合わせたクロスワードタスクにおいて、両ブリッジを併用して評価する。
- 参考スコア(独自算出の注目度): 50.12185415414777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in frontier models enable robot manipulation from only a few demonstrations, but high inference latency limits their use for real-time robot control. To bridge this gap, we study two complementary approaches that connect frontier reasoning with low-latency local execution. First, we use a frontier model to autonomously generate demonstrations that supplement human demonstrations for training a fast local policy. We augment its in-context examples with corrective demonstration segments that show how to recover from physical errors, improving generation reliability. Generation time and cost decrease as successful examples accumulate in context, suggesting a path toward more efficient data collection. At deployment, a harness combines frontier-generated instructions with a fast local policy, enabling efficient execution while preserving the frontier model's ability to guide and correct actions. With low-latency execution delegated to the local policy, the bottleneck shifts to its capacity to reliably follow the frontier model's diverse instructions. Our second bridge introduces dense language supervision across three nested granularities---primitive, atomic, and composite---with multi-aspect descriptions at each level. Across long-horizon tasks in RoboCasa 365 and BEHAVIOR-1K, where instructions change as execution progresses, the combined supervision achieves the highest performance under both oracle and frontier-model instructors, demonstrating more reliable instruction following through the policy's language interface. Finally, we evaluate both bridges together on a crossword task that combines semantic planning and manipulation within a fixed time budget. These results support autonomous demonstration generation and dense language supervision as complementary components for connecting frontier reasoning to low-latency local execution.
- Abstract(参考訳): 近年のフロンティアモデルの進歩により、いくつかのデモからロボット操作が可能になったが、推論レイテンシが高いため、リアルタイムロボット制御では使用が制限された。
このギャップを埋めるために、フロンティア推論と低遅延局所実行を結びつける2つの補完的アプローチについて検討する。
まず、フロンティアモデルを用いて、高速なローカルポリシーのトレーニングのために人間のデモを補完するデモを自律的に生成する。
我々は、物理的エラーから回復する方法を示し、生成信頼性を向上する修正的なデモセグメントで、コンテキスト内の例を拡張した。
成功例がコンテキストに蓄積されるにつれて、生成時間とコストが減少し、より効率的なデータ収集への道のりが示唆される。
デプロイ時に、ハーネスはフロンティア生成命令と高速なローカルポリシを組み合わせることで、フロンティアモデルの動作のガイドと修正の能力を維持しながら、効率的な実行を可能にする。
低レイテンシの実行をローカルポリシーに委譲することで、ボトルネックはフロンティアモデルの多様な命令を確実に従う能力にシフトする。
第2の橋梁は,3つのネストした粒度(原始的,原子的,複合的)にまたがって,各レベルでの多面的記述を伴って言語を監督する。
RoboCasa 365 と BEHAVIOR-1K の長期タスクでは、実行が進むにつれて命令が変更され、統合された監督はオラクルとフロンティアモデルのインストラクターの両方で最高のパフォーマンスを達成する。
最後に、固定時間予算内で意味的計画と操作を組み合わせたクロスワードタスクにおいて、両ブリッジを併用して評価する。
これらの結果は,フロンティア推論を低レイテンシ局所実行に接続するための補完的要素として,自律的なデモンストレーション生成と言語指導を支援する。
関連論文リスト
- StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation [10.530444098094323]
StageGuardは、正確かつ効率的な段階遷移決定のためのエージェント蒸留フレームワークである。
軽量な学生VLMはこれらの説明を用いて、教師付き微調整に使用されるコンパクトな自己説明を生成する。
その結果、効率的なオンラインモニタリングをサポートしながら、ステージ遷移予測を大幅に改善した。
論文 参考訳(メタデータ) (2026-09-17T17:53:48Z) - How to Instruct Your Robot: Dense Language Annotations Power Robot Policy Learning [69.68882580009982]
デモセグメントをVLM生成アノテーションでラベル付けする2段階のアプローチであるDeMiAnを紹介する。
学習したインストラクターがタスク記述と初期シーンスナップショットをデプロイ時にタスクに適したアノテーションにマップする。
RoboCasaでは、インストラクターはタスクのみのベースラインで5ポイント成功し、タスクごとのオラクルの3ポイント以内に到達する。
論文 参考訳(メタデータ) (2026-05-16T16:52:08Z) - Guide, Think, Act: Interactive Embodied Reasoning in Vision-Language-Action Models [15.486973209713954]
GTA-VLA(Guide, Think, Act)はインタラクティブなビジョンランゲージ・アクション・フレームワークである。
ユーザがロボットポリシーを明示的な視覚的手がかりでガイドできるようにすることで、空間的に操作可能な具体的推論を可能にする。
論文 参考訳(メタデータ) (2026-05-13T14:58:29Z) - ROSClaw: A Hierarchical Semantic-Physical Framework for Heterogeneous Multi-Agent Collaboration [9.434833852972353]
ROSClawは、統一視覚言語モデル(VLM)コントローラにポリシー学習とタスク実行を統合する異種ロボットのためのエージェントフレームワークである。
自律的なクローズループフレームワークを確立することにより、ROSClawはロボット固有の開発への依存を最小限に抑える。
論文 参考訳(メタデータ) (2026-04-06T13:16:24Z) - AtomVLA: Scalable Post-Training for Robotic Manipulation via Predictive Latent World Models [9.608633915316252]
VLA(Vision-Language-Action)モデルでは、一般化可能なロボット操作の可能性を示している。
現在のパラダイムは、教師付き微調整中の粗大でハイレベルなタスク命令に依存している。
スケーラブルなオフライン後トレーニングパイプラインと統合された,最初のサブタスク対応VLAフレームワークである方法を提案する。
論文 参考訳(メタデータ) (2026-03-09T15:52:48Z) - Unifying Language-Action Understanding and Generation for Autonomous Driving [25.23561391638388]
VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転において有望なパラダイムとして浮上している。
既存の手法には、言語命令とアクションアウトプットの永続的なミスアライメントと、典型的な自己回帰行動生成の非効率性という2つの重要な制限がある。
LinkVLAは、これらの課題に直接対処し、アライメントと効率の両方を強化する新しいアーキテクチャです。
論文 参考訳(メタデータ) (2026-03-02T04:41:10Z) - Dexplore: Scalable Neural Control for Dexterous Manipulation from Reference-Scoped Exploration [58.4036440289082]
ハンドオブジェクトモーションキャプチャ(MoCap)は、大規模でコンタクトに富んだデモと、器用なロボットスコープの約束を提供する。
Dexploreは、リポジトリとトラッキングを実行し、MoCapから直接ロボット制御ポリシーを学習する、統一された単一ループ最適化である。
論文 参考訳(メタデータ) (2025-09-11T17:59:07Z) - Diffusion Transformer Policy [48.50988753948537]
本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。
トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
論文 参考訳(メタデータ) (2024-10-21T12:43:54Z) - Learning to Shift Attention for Motion Generation [55.61994201686024]
ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。
以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。
この問題を克服する外挿能力を有するモーション生成モデルを提案する。
論文 参考訳(メタデータ) (2021-02-24T09:07:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。