論文の概要: GAINS: Leveraging Inconsistent Human Intervention Signals in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.15707v1
• Date: Sun, 16 Aug 2026 12:19:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.398028
• Title: GAINS: Leveraging Inconsistent Human Intervention Signals in Reinforcement Learning
• Title（参考訳）: GAINS:強化学習における一貫性のない人間の干渉信号の活用
• Abstract要約: 強化学習(RL)における不整合人間の介入信号を活用するための枠組みを提案する。 本研究では、分散RLと量子Qネットワークを用いて、スパースタスク報酬や不整合人間の介入によって引き起こされるリターン変動をモデル化する。 我々は,4つの多種多様なシミュレーション操作タスクと,最先端の介入に基づく手法に対する2つの現実シナリオについて,GAINSを評価した。
• 参考スコア（独自算出の注目度）: 35.461668686434244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Correcting robot manipulation policies through human intervention holds great promise for real-world deployment, yet human operators are inherently imperfect in both the actions they provide and the timing of their intervention signals. While the former has been extensively discussed in reinforcement learning (RL), the latter remains underexplored. At high control frequencies, human intervention signals are often delayed and inconsistent across time and state space. In this work, we present GAINS, a framework for leveraging inconsistent human intervention signals in RL. At the core of GAINS, we employ distributional RL with quantile Q-networks to model the return variability induced by sparse task rewards and inconsistent human interventions. Building on this distributional representation, we introduce a pessimistic exploration strategy that promotes safe and sample-efficient learning under human corrections. We evaluate GAINS on four diverse simulated manipulation tasks and two challenging real-world scenarios against state-of-the-art intervention-based methods. GAINS achieves a 22% higher task success rate than RLIF and improves recovery success by up to 43% in failure scenarios. These results highlight the importance of modeling return variability induced by human imperfection for real-world deployment of intervention-based learning.
• Abstract（参考訳）: 人間の介入によるロボット操作ポリシーの修正は、現実世界の展開にとって大きな約束であるが、人間オペレーターは本来、提供した行動と介入信号のタイミングの両方に不完全である。 前者は強化学習(RL)で広く議論されてきたが、後者は未検討のままである。 高い制御周波数では、人間の干渉信号は時間と状態空間にわたって遅延し、矛盾することが多い。 本稿では,RLにおける不整合人間の介入信号を活用するためのフレームワークであるGAINSを紹介する。 GAINSのコアでは、分散RLと量子Qネットワークを用いて、スパースタスク報酬と一貫性のない人間の介入によって引き起こされるリターン変動をモデル化する。 この分布表現に基づいて、人間の修正の下で安全でサンプル効率の高い学習を促進する悲観的な探索戦略を導入する。 GAINSを4つの多様なシミュレーション操作タスクと2つの挑戦的な現実シナリオで評価する。 GAINSはRLIFよりも22%高いタスク成功率を実現し、障害シナリオのリカバリ成功を最大43%改善する。 これらの結果は、介入型学習の現実的な展開において、人間の不完全性によって引き起こされる戻り変数のモデル化の重要性を強調した。

関連論文リスト

• How to Learn from What a Human Would Avoid? Intervention-Aware World Models with Real-World RL for Dexterous Manipulation [27.05205948648607]
  WHIRLは、二元的人間の介入を前方予測信号に変換する安全を意識したRLフレームワークである。 16-DoF LEAPハンドの枠組みを凸や不規則な物体の把握、プリズマティックな操作、多段階の長期タスクにまたがって評価した。
  論文  参考訳（メタデータ） (2026-09-05T10:28:23Z)
• ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning [44.43333438148224]
  人間の介入が不十分な人型VLA後トレーニングのための強化学習フレームワークであるROVEを提案する。 まず、ROVEは、ヒューマノイド操作のためのデプロイメントと介入データを収集できる、Human-in-the-loopパイプラインを導入している。 第二に、OVE(Optimistic Value Estimation)を用いて、混合質軌道から高価値な振る舞いを優先順位付けする。
  論文  参考訳（メタデータ） (2026-06-15T17:45:06Z)
• UniIntervene: Agentic Intervention for Efficient Real-World Reinforcement Learning [10.315300563393782]
  非生産的探索を検知し、高価値状態に対する政策を自律的に回復するエージェント介入モデルUniInterveneを提案する。 様々な実世界の操作タスクの実験では、UniInterveneは平均成功率を8.6%改善し、最先端のHiL-RLベースラインと比較して人間の介入を57%削減した。
  論文  参考訳（メタデータ） (2026-06-10T17:38:24Z)
• OHP-RL: Online Human Preference as Guidance in Reinforcement Learning for Robot Manipulation [16.28822074948203]
  Online Human Preference as Guidance in Reinforcement Learning (OHP-RL) は、政策学習の指針となる選好情報として人間の介入を利用するフレームワークである。 OHP-RLは、強い成功率、より高速な収束、そして従来のアプローチよりもはるかに低い人間の介入努力を一貫して達成する。
  論文  参考訳（メタデータ） (2026-05-15T14:02:34Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention [76.83428371942735]
  本稿では,人間の介入によるサンプル効率向上を目的としたMEReQ(Maximum-Entropy Residual-Q Inverse Reinforcement Learning)を紹介する。 MereQは、人間の専門家と以前の政策の根底にある報酬関数との相違を捉える残差報酬関数を推論する。 その後、Residual Q-Learning(RQL)を使用して、ポリシーをこの残留報酬関数を使用して人間の好みと整合させる。
  論文  参考訳（メタデータ） (2024-06-24T01:51:09Z)
• Safety-compliant Generative Adversarial Networks for Human Trajectory Forecasting [95.82600221180415]
  群衆における人間予測は、社会的相互作用をモデル化し、衝突のないマルチモーダル分布を出力するという課題を提示する。 SGANv2は、動き時間相互作用モデリングと変圧器に基づく識別器設計を備えた安全に配慮したSGANアーキテクチャである。
  論文  参考訳（メタデータ） (2022-09-25T15:18:56Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。