論文の概要: SeeQ: Training Generalist Value Functions for Long-Horizon Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2609.22085v1
• Date: Fri, 18 Sep 2026 17:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.26103
• Title: SeeQ: Training Generalist Value Functions for Long-Horizon Robotic Manipulation
• Title（参考訳）: SeeQ: 長距離ロボットマニピュレーションのための一般値関数の訓練
• Abstract要約: 本稿では,現在アクティブなサブタスクに対するQ値の学習を行うSeeeQ(Subtask-elicited Q-functions)を紹介する。 トレーニング中、オフラインロボットデータに存在するサブタスクレベルのアノテーションは、分解を提供する。 ベースビジョン言語バックボーンを使用してSeeQをインスタンス化し、さまざまなオープンソースのロボット操作データで事前トレーニングし、下流タスクで微調整します。
• 参考スコア（独自算出の注目度）: 26.70630213995956
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Despite rapid progress, generalist robot policies remain brittle on complex, long-horizon tasks that comprise multiple stages or require repeated attempts and deliberation on the same underlying stage before success. Q-value functions can improve these policies by ranking candidate actions or guiding policy improvement, but learning from sparse task-level rewards entails long credit-assignment horizons, difficult Bellman backups, and broad data-coverage requirements. We introduce SeeQ (Subtask-elicited Q-functions), which instead learns Q-values for the currently active subtask. This shortens the value-prediction horizon and enables effective learning with temporal-difference (TD) objectives. During training, subtask-level annotations present in offline robot data provide the decomposition and enable learning from broad, potentially suboptimal robot datasets. To eliminate the need for human annotations or modular subtask prediction systems at test time, our Q-function architecture is trained to autoregressively predict the active subtask in natural language before estimating its value. We instantiate SeeQ using a base vision-language backbone, pretrain it on diverse open-source robot manipulation data, and finetune it on downstream tasks. Across four real-world manipulation tasks on two bimanual robot platforms, the SeeQ value function substantially improves best-of-N policy steering.
• Abstract（参考訳）: 急速な進歩にもかかわらず、ジェネラリストのロボット政策は、複数の段階から構成される複雑な長期的タスクや、成功前の同じ段階における反復的な試みや検討を必要とするタスクに対して脆弱なままである。 Q値関数は、候補行動のランク付けや政策改善の導出によってこれらのポリシーを改善することができるが、疎いタスクレベルの報酬から学ぶと、長期のクレジット割り当ての水平線、難しいベルマンバックアップ、幅広いデータカバレッジ要件が伴う。 本稿では,現在アクティブなサブタスクに対するQ値の学習を行うSeeeQ(Subtask-elicited Q-functions)を紹介する。 これにより、値予測の地平線を短くし、時間差(TD)目標による効果的な学習を可能にする。 トレーニング中、オフラインロボットデータに存在するサブタスクレベルのアノテーションは、分解を提供し、広範で潜在的に最適なロボットデータセットから学習を可能にする。 人間のアノテーションやモジュール型のサブタスク予測システムをテスト時に不要にするため、我々のQ関数アーキテクチャは、その価値を見積もる前に、自然言語のアクティブサブタスクを自動回帰的に予測するように訓練されている。 ベースビジョン言語バックボーンを使用してSeeQをインスタンス化し、さまざまなオープンソースのロボット操作データで事前トレーニングし、下流タスクで微調整します。 実世界の2つのロボットプラットフォーム上での4つの操作タスクの中で、SeeeQ値関数はNのポリシーステアリングを大幅に改善する。

関連論文リスト

• $τ_0$-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation [51.05516457377339]
  ロングホライズンロボットの操作には、ロボットが個々のスキルを確実に実行し、拡張されたタスクに対してそれらを一貫性を持ってシーケンスする必要がある。 計算スケーリング可能な推論問題として高レベルサブタスク生成を定式化する階層型ロボット基盤モデルである$_0$-VLAを導入する。 低レベルポリシーは、生成されたサブタスクを複数のロボットエンボディメントにわたって実行する。
  論文  参考訳（メタデータ） (2026-08-17T17:59:11Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• Plan-Seq-Learn: Language Model Guided RL for Solving Long Horizon Robotics Tasks [50.27313829438866]
  Plan-Seq-Learn (PSL) は、抽象言語と学習した低レベル制御の間のギャップを埋めるためにモーションプランニングを使用するモジュラーアプローチである。 PSLは85%以上の成功率、言語ベース、古典的、エンドツーエンドのアプローチを達成している。
  論文  参考訳（メタデータ） (2024-05-02T17:59:31Z)
• STAP: Sequencing Task-Agnostic Policies [22.25415946972336]
  本稿では,長期的課題を解決するために,操作スキルを訓練し,それらの幾何学的依存関係を計画時に調整するためのシークエンシングタスク非依存ポリシー(STAP)を提案する。 実験により, この目的関数が真理計画の実現可能性に近似していることが示唆された。 タスクプランナが提供したスキルシーケンスの幾何学的実現可能性を評価することで,STAPがタスク計画や動作計画にどのように使えるかを実証する。
  論文  参考訳（メタデータ） (2022-10-21T21:09:37Z)
• Robot Learning of Mobile Manipulation with Reachability Behavior Priors [38.49783454634775]
  モバイルマニピュレーション(MM)システムは、非構造化現実環境におけるパーソナルアシスタントの役割を引き継ぐ上で理想的な候補である。 その他の課題として、MMは移動性と操作性の両方を必要とするタスクを実行するために、ロボットの実施形態を効果的に調整する必要がある。 本研究では,アクタ批判的RL手法におけるロボットの到達可能性の先行性の統合について検討した。
  論文  参考訳（メタデータ） (2022-03-08T12:44:42Z)
• Hierarchical Few-Shot Imitation with Skill Transition Models [66.81252581083199]
  FIST(Few-shot Imitation with Skill Transition Models)は、オフラインデータからスキルを抽出し、それらを利用して見えないタスクに一般化するアルゴリズムである。 本稿では,FISTが新たなタスクに一般化し,ナビゲーション実験において従来のベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-19T15:56:01Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。