論文の概要: Fill in the Blanks: Accelerating Q-Learning with a Handful of Demonstrations in Sparse Reward Settings

• arxiv url: http://arxiv.org/abs/2510.24432v1
• Date: Tue, 28 Oct 2025 14:01:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.211291
• Title: Fill in the Blanks: Accelerating Q-Learning with a Handful of Demonstrations in Sparse Reward Settings
• Title（参考訳）: ブランクスの充足:スパースリワード設定における実演によるQ-Learningの高速化
• Authors: Seyed Mahdi Basiri Azad, Joschka Boedecker,
• Abstract要約: スパース・リワード環境における強化学習(RL)は、情報的フィードバックが欠如しているため、依然として重要な課題である。 本稿では,RLエージェントの値関数を初期化するために,少数の成功例を用いた簡易かつ効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 4.446853669417819
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reinforcement learning (RL) in sparse-reward environments remains a significant challenge due to the lack of informative feedback. We propose a simple yet effective method that uses a small number of successful demonstrations to initialize the value function of an RL agent. By precomputing value estimates from offline demonstrations and using them as targets for early learning, our approach provides the agent with a useful prior over promising actions. The agent then refines these estimates through standard online interaction. This hybrid offline-to-online paradigm significantly reduces the exploration burden and improves sample efficiency in sparse-reward settings. Experiments on benchmark tasks demonstrate that our method accelerates convergence and outperforms standard baselines, even with minimal or suboptimal demonstration data.
• Abstract（参考訳）: スパース・リワード環境における強化学習(RL)は、情報的フィードバックが欠如しているため、依然として重要な課題である。 本稿では,RLエージェントの値関数を初期化するために,少数の成功例を用いた簡易かつ効果的な手法を提案する。 オフラインのデモから価値見積を事前計算し、それらを早期学習のターゲットとして使用することにより、我々のアプローチは、有望なアクションよりも、エージェントに有用な事前情報を提供する。 エージェントは、標準的なオンラインインタラクションを通じて、これらの見積を洗練します。 このハイブリッドオフライン-オンライン・パラダイムは、探索の負担を大幅に低減し、スパース・リワード設定におけるサンプル効率を向上させる。 ベンチマークタスクの実験では,本手法が収束を加速し,最小あるいは準最適の実証データであっても標準ベースラインを上回っていることが示されている。

関連論文リスト

• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• Reinforcement Learning with Action Chunking [56.66655947239018]
  本稿では,長時間のスパース・リワード作業における強化学習アルゴリズムの改良手法であるQ-chunkingを提案する。 我々のレシピはオフラインからオンラインまでのRL設定のために設計されており、オンライン学習のサンプル効率を最大化するためにオフライン前のデータセットを活用することが目的である。 実験の結果,Q-chunkingはオフライン性能とオンラインサンプル効率が優れており,長時間のスパース・リワード操作タスクにおいて,最良オフライン-オンライン手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-07-10T17:48:03Z)
• From Data-Centric to Sample-Centric: Enhancing LLM Reasoning via Progressive Optimization [7.531052649961168]
  検証可能な報酬付き強化学習(RLVR)は、最近、大規模言語モデル(LLM)の推論能力を進歩させた。 サンプル中心の観点からRLVRを調査し,プログレッシブ最適化手法の枠組みであるLPPOを導入する。 私たちの仕事は、データボリュームを単にスケールアップするのではなく、小さな信頼性のある高品質なデモを最大限に活用する方法という、重要な問題に対処しています。
  論文  参考訳（メタデータ） (2025-07-09T06:05:28Z)
• Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning [62.05713042908654]
  本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。 そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:13:53Z)
• Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration [15.463313629574111]
  本稿では,連続制御タスクにおけるサンプル効率の高い探索手法について検討する。 本稿では,予測モデルと非政治学習要素を組み込んだRLアルゴリズムを提案する。 パラメーターのオーバーヘッドを発生させずに本質的な報酬を導き出す。
  論文  参考訳（メタデータ） (2024-03-31T11:39:11Z)
• Enhancing Vision-Language Few-Shot Adaptation with Negative Learning [11.545127156146368]
  我々は,タスク固有の知識をより効率的に活用するための,シンプルで効果的な否定的学習手法SimNLを提案する。 そこで本研究では,雑音を緩和するために,プラグアンドプレイによる数発のインスタンス再重み付け手法を提案する。 提案したSimNLは,少数ショット学習とドメイン一般化の両タスクにおいて,既存の最先端手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:39Z)
• Policy Optimization with Smooth Guidance Learned from State-Only Demonstrations [2.709826237514737]
  報酬フィードバックの幅は、オンラインの深層強化学習において依然として難しい問題である。 Smooth Guidance (POSG) を用いたポリシー最適化手法を提案する。 4つのスパース・リワード環境におけるPOSGの制御性能と収束速度の顕著な優位性を示す。
  論文  参考訳（メタデータ） (2023-12-30T07:41:45Z)
• Streaming LifeLong Learning With Any-Time Inference [36.3326483579511]
  本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。 また,スナップショット自己蒸留方式の暗黙正則化器を提案する。 我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
  論文  参考訳（メタデータ） (2023-01-27T18:09:19Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。