論文の概要: Learning Quality-Controllable Robot Policies with Iterative Hindsight Relabeling

• arxiv url: http://arxiv.org/abs/2610.37393v1
• Date: Tue, 27 Oct 2026 15:15:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.673638
• Title: Learning Quality-Controllable Robot Policies with Iterative Hindsight Relabeling
• Title（参考訳）: 反復的視線リラベルによる品質制御可能なロボット政策の学習
• Abstract要約: 本稿では,個々の品質属性とその組み合わせに対する推論時間制御を可能にするロボットポリシーであるQCPを紹介する。 RobomimicとRoboEvalの実験では、QCPはイテレーション間のタスクの実行品質と成功率の両方を一貫して改善している。
• 参考スコア（独自算出の注目度）: 32.755436484732826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robot policy evaluation often relies on a binary success signal for task completion. In real-world deployment, however, desired execution behaviors are also defined by quality attributes such as execution speed and motion smoothness, which need to be dynamically controlled according to task requirements. To address this, we introduce Quality-Controllable Policy (QCP), a robot policy that enables inference-time control over both individual quality attributes and their combinations. To extend the controllable quality range beyond initial demonstrations, we further propose an iterative hindsight relabeling loop: QCP collects online rollouts under target quality labels, adds successful trajectories to the dataset, relabels the accumulated trajectories in hindsight according to their measured quality, and fine-tunes the policy. Experiments on Robomimic and RoboEval demonstrate that QCP consistently improves both task execution quality and success rates across iterations, producing successful rollouts that exceed the quality of the initial demonstrations. Finally, we validate QCP on real-world manipulation tasks, where controlling speed increases throughput in conveyor operations and controlling transport stability improves success when carrying wine glasses, demonstrating that quality-controllable policies yield practical gains in physical deployment.
• Abstract（参考訳）: ロボットのポリシー評価は、しばしばタスク完了のためのバイナリ成功信号に依存する。 しかし、現実のデプロイメントでは、望ましい実行動作は、タスク要求に応じて動的に制御する必要がある実行速度や動作のスムーズさといった品質特性によって定義される。 そこで本研究では,個々の品質特性と組み合わせの推論時間制御を可能にするロボットポリシーであるQCP(Quality-Controllable Policy)を導入する。 QCPは、目標とする品質ラベルの下でオンラインロールアウトを収集し、データセットに軌道を追加し、測定された品質に応じて後方に蓄積された軌道をラベル付けし、ポリシーを微調整する。 RobomimicとRoboEvalの実験では、QCPはタスクの実行品質とイテレーション間の成功率の両方を一貫して改善し、最初のデモの品質を超えたロールアウトを実現している。 最後に,コンベヤ操作のスループットを向上し,輸送安定性を制御できる実世界の操作タスクにおけるQCPの有効性を検証する。

関連論文リスト

• Is Success All You Need? Investigating the Impact of Input Perturbations on VLA Behaviour in Tabletop Manipulation Tasks [49.09021048464337]
  VLA(Vision-Language-Action)モデルは、ロボット操作タスクベンチマークにおいて高いタスク成功率を達成した。 モデルの振る舞いのロバスト性を評価するためのベンチマーク非依存評価フレームワークを提案する。 動作のスムーズさ,効率,グリップ動作の指標を含む,典型的な成功行動とその変動性の変化を評価した。
  論文  参考訳（メタデータ） (2026-10-01T09:20:57Z)
• Q-Learning With World Models [69.63968749241239]
  本稿では,Qラーニング上の実測軌道上でテスト時間探索を行い,高価値な行動を選択するために世界モデルを活用するフレームワークを提案する。 QWMは, 試料効率と性能の両方において, 従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-08-17T22:00:42Z)
• Modeling and Validation of Quality of Control for Edge-Offloaded Collaborative Navigation [10.721601142723673]
  複雑な環境における協調制御は、無線遅延と信頼性のばらつきにより困難である。 従来の作業から実用的なロボットモデルまで,QoC(Quality of Control)フレームワークを拡張することで,この問題に対処する。
  論文  参考訳（メタデータ） (2026-07-16T11:22:18Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Cognition to Control - Multi-Agent Learning for Human-Humanoid Collaborative Transport [36.304887250687536]
  本稿では,3層階層構造である認知制御(C2C)について述べる。 協調操作タスクの実験は、単一エージェントとエンドツーエンドのベースラインよりも成功と堅牢性を示す。
  論文  参考訳（メタデータ） (2026-03-04T06:24:55Z)
• Verified Critical Step Optimization for LLM Agents [67.05296684575445]
  クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。 メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。 GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:41:02Z)
• OmniQuality-R: Advancing Reward Models Through All-Encompassing Quality Assessment [55.59322229889159]
  我々は,マルチタスク品質推論を連続的かつ解釈可能な報酬信号に変換する統一報酬モデリングフレームワークOmniQuality-Rを提案する。 我々は、推論強化報酬モデルデータセットを使用して、教師付き微調整のための信頼性の高いチェーンオブ思考データセットを構築します。 OmniQuality-Rは,美的品質評価,技術的品質評価,テキスト画像アライメントという3つの重要なIQAタスクで評価する。
  論文  参考訳（メタデータ） (2025-10-12T13:46:28Z)
• Q-STAC: Q-Guided Stein Variational Model Predictive Actor-Critic [12.837649598521102]
  本稿では,連続制御タスクのためのQ-guided STein variational model predictive Actor-Critic (Q-STAC)フレームワークを提案する。 本手法では,学習したQ値を直接目的とする制御シーケンスを最適化し,明示的なコスト関数設計の必要性を解消する。 2次元ナビゲーションとロボット操作タスクの実験は、Q-STACが最先端のアルゴリズムと比較して優れたサンプリング効率、堅牢性、最適性を達成することを示した。
  論文  参考訳（メタデータ） (2025-07-09T07:53:53Z)
• GraspCorrect: Robotic Grasp Correction via Vision-Language Model-Guided Feedback [23.48582504679409]
  最先端の政策モデルでさえ不安定な把握行動を示すことが多い。 視覚言語モデル誘導フィードバックによるグルーピング性能の向上を目的とした,プラグイン・アンド・プレイモジュールであるGraspCorrectを紹介する。
  論文  参考訳（メタデータ） (2025-03-19T09:25:32Z)
• Dealing with Sparse Rewards in Continuous Control Robotics via Heavy-Tailed Policies [64.2210390071609]
  本稿では,連続制御問題におけるスパース報酬の課題に対処するため,HT-PSG(Heavy-Tailed Policy Gradient)アルゴリズムを提案する。 高平均累積報酬の観点から,全タスクに一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-06-12T04:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。