論文の概要: Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning
- arxiv url: http://arxiv.org/abs/2608.15088v1
- Date: Sat, 15 Aug 2026 07:13:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.182372
- Title: Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning
- Title（参考訳）: ループ型オンラインロボット学習のためのMax-Q選択的模倣
- Abstract要約: 実際のロボットのためのHIL(Human-in-the-loop)オンライン強化学習は、人間の介入を素早く吸収し、人間の先行性を超えて改善し続けなければならない。
本稿では,この2つのコンポーネントをベースとしたトレーニング手法を提案する。
emphMC Q-chunk 批判者は、モンテカルロへのチャンクレベルのアクション値をリプレイバッファから返します。
emphmax-Qの選択的な模倣は、各状態において、現在のポリシーアクションとバッファサンプルの間の高額なQ$アクションを模倣することでアクターを更新する。
- 参考スコア（独自算出の注目度）: 1.96243636752331
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human-in-the-loop (HIL) online reinforcement learning for real robots must absorb human interventions quickly while continuing to improve beyond the human prior. We present a training method for this setting based on two components. First, an \emph{MC Q-chunk} critic regresses chunk-level action values onto Monte Carlo returns from the replay buffer, performing sample-average (behavior) policy evaluation so that intervention trajectories are credited directly rather than diluted by current-policy TD backups. Second, \emph{max-Q selective imitation} updates the actor by imitating, at each state, the higher-$Q$ action between the current policy action and a buffer sample under a hard winner-take-all rule. This rule automatically switches between learning from interventions and on-policy self-improvement: when the autonomous policy is stronger, targets align with the policy distribution, reducing the policy--target-sample gap that otherwise induces execution-time distribution shift. In practice we score candidates with a standard critic ensemble mean to reduce comparison noise, without softening targets or introducing score-gap thresholds. On a real USB pick-and-insertion task with 20 demonstrations, ACT QChunk-MCBC attains 99\% success within 30 minutes of HIL training, whereas HIL-SERL requires about 5 hours to converge. In simulation on Peg Insertion and Square, ACT/Flow Q-chunk variants similarly reach $\ge$96\% success within roughly half an hour of effective training, outperforming HIL-SERL, EXPO, and E2HiL on the success--time frontier.
- Abstract（参考訳）: 実際のロボットのためのHIL(Human-in-the-loop)オンライン強化学習は、人間の介入を素早く吸収し、人間の先行性を超えて改善し続けなければならない。
本稿では,この2つのコンポーネントをベースとしたトレーニング手法を提案する。
まず、 'emph{MC Q-chunk} 評論家はモンテカルロに対するチャンクレベルのアクション値をリプレイバッファから回帰し、現在のTDバックアップによって希釈されるのではなく、介入軌跡を直接クレジットするように、サンプル平均(振る舞い)ポリシー評価を行う。
第二に、\emph{max-Q elect mimicion} はアクターを各状態において、現在のポリシーアクションとバッファサンプルの間のより高額なQ$アクションをハード・コンテイク・オール・ルールで模倣して更新する。
このルールは、介入からの学習から政治上の自己改善へと自動的に切り替わる: 自律的な政策が強くなると、ターゲットは政策分布と整合し、それ以外は実行時分布シフトを引き起こす政策-目標-サンプルギャップを減らします。
実際、我々は、目標を軟化したり、スコアギャップ閾値を導入したりすることなく、比較ノイズを減らすために、標準的な批評家アンサンブルで候補者をスコアリングする。
ACT QChunk-MCBCは、HILトレーニングから30分以内に99\%の成功を達成し、HIL-SERLは約5時間で収束する。
Peg Insertion と Square のシミュレーションでは、ACT/Flow Q-chunk の変種は、ほぼ半時間で$\ge$96\%成功し、HIL-SERL、EXPO、E2HiL を成功時のフロンティアで上回った。
関連論文リスト
- PAVE: Predictive Alignment and Value-Guided Evolution for World-Action Policies [17.87859739145508]
直接視覚-言語-アクションポリシーは、継続的なロボット動作を効率的に生成するが、標準的な行動クローンは2つの相補的なギャップを残している。
結果に依存しない予測学習と結果認識型政策改善を組み合わせた,直接的な世界行動政策である方法を紹介する。
論文 参考訳（メタデータ） (2026-08-31T07:36:11Z) - Efficient Real-World Online Reinforcement Learning for Robot Manipulation via Centralized Training and Critic Decomposition [16.480150894507908]
集中型トレーニングと分散実行(CTDE)とハイブリッドリワードアーキテクチャ(HRA)を組み合わせた統合フレームワークを導入する。
実験の結果,提案フレームワークはサンプル効率と政策性能の両方を大幅に改善することがわかった。
本手法は,最先端のベースラインと比較して,テニスボールのピック・アンド・プレイスにおける成功率を60%から80%に向上させる。
論文 参考訳（メタデータ） (2026-08-10T15:54:25Z) - VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。
アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。
本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
論文 参考訳（メタデータ） (2026-06-18T09:44:12Z) - QPILOTS: Efficient Test-Time Q-Steering for Flow Policies [20.217020870532686]
QPILOTSは、元のポリシーを変更せずに、推論時にデノナイジングプロセスを操る方法である。
標準のオフライン-オンラインRLベンチマークでは、QPILOTSが最高の集計性能を達成し、50タスクで平均90%の成功率に達する。
論文 参考訳（メタデータ） (2026-06-11T18:22:03Z) - Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。
テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。
実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
論文 参考訳（メタデータ） (2026-06-09T16:45:57Z) - Potential-Guided Flow Matching for Vision-Language-Action Policy Improvement [27.695600755960736]
自己誘導型フローマッチングポリシであるForesightFlowを紹介した。
それぞれの生成されたアクションチャンクを、学習された成功可能性軌道で拡張する。
候補アクションをスコア付けし、外部の批評家なしで$K$の推論を可能にする。
論文 参考訳（メタデータ） (2026-06-03T14:49:35Z) - Preference-Calibrated Human-in-the-Loop Reinforcement Learning for Robotic Manipulation [40.17737666526493]
PACT(Preference-calibrated Actor-Critic Training framework)を提案する。
まず、人間の実演から学習し、信用補正のための最適部分を特定するプログレスモデルを設計する。
次に、選好ペアを構築して、同定された準最適セグメントのベルマン目標をペナルティ化する反ファクト的優位性を定義する。
論文 参考訳（メタデータ） (2026-06-02T17:38:25Z) - Learn Where Outcomes Diverge: Efficient VLA RL via Probabilistic Chunk Masking [5.238545250784642]
本稿では,軌道毎のチャンクの小さな確率的に選択されたサブセットに勾配を割り当てるGRPOのドロップイン修正である確率的チャンクマスキング(PCM)を提案する。
3つのLIBEROベンチマークでは、PCMは標準GRPOの最終的な成功率と一致し、2.38倍のウォールクロック速度、4.8倍の勾配更新、60%のピークアクティベーションメモリを達成した。
論文 参考訳（メタデータ） (2026-05-15T16:33:59Z) - One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。
本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
論文 参考訳（メタデータ） (2025-11-17T06:34:17Z) - Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。
有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。
本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
論文 参考訳（メタデータ） (2025-04-10T16:14:17Z) - One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation [80.71541671907426]
OneStep Diffusion Policy (OneDP)は、事前訓練された拡散政策から知識を単一ステップのアクションジェネレータに蒸留する新しいアプローチである。
OneDPはロボット制御タスクの応答時間を著しく短縮する。
論文 参考訳（メタデータ） (2024-10-28T17:54:31Z) - Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。
本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。
この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
論文 参考訳（メタデータ） (2021-10-12T17:05:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。