Fugu-MT 論文翻訳(概要): OPRIDE: Offline Preference-based Reinforcement Learning via In-Dataset Exploration

論文の概要: OPRIDE: Offline Preference-based Reinforcement Learning via In-Dataset Exploration

arxiv url: http://arxiv.org/abs/2604.02349v1
Date: Thu, 19 Feb 2026 02:11:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-19 19:09:11.323905
Title: OPRIDE: Offline Preference-based Reinforcement Learning via In-Dataset Exploration
Title（参考訳）: OPRIDE:データ内探索によるオフライン推論に基づく強化学習
Abstract要約: 嗜好に基づく強化学習(PbRL)は、洗練された報酬設計を回避し、人間の意図に適合する。オフラインPbRLのクエリ効率を向上させるために,textbfIn-textbfDataset textbfExploration (OPRIDE) を用いた新しいアルゴリズム textbfOffline textbfRL を提案する。
参考スコア（独自算出の注目度）: 42.70370800703202
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Preference-based reinforcement learning (PbRL) can help avoid sophisticated reward designs and align better with human intentions, showing great promise in various real-world applications. However, obtaining human feedback for preferences can be expensive and time-consuming, which forms a strong barrier for PbRL. In this work, we address the problem of low query efficiency in offline PbRL, pinpointing two primary reasons: inefficient exploration and overoptimization of learned reward functions. In response to these challenges, we propose a novel algorithm, \textbf{O}ffline \textbf{P}b\textbf{R}L via \textbf{I}n-\textbf{D}ataset \textbf{E}xploration (OPRIDE), designed to enhance the query efficiency of offline PbRL. OPRIDE consists of two key features: a principled exploration strategy that maximizes the informativeness of the queries and a discount scheduling mechanism aimed at mitigating overoptimization of the learned reward functions. Through empirical evaluations, we demonstrate that OPRIDE significantly outperforms prior methods, achieving strong performance with notably fewer queries. Moreover, we provide theoretical guarantees of the algorithm's efficiency. Experimental results across various locomotion, manipulation, and navigation tasks underscore the efficacy and versatility of our approach.
Abstract（参考訳）: 嗜好に基づく強化学習(PbRL)は、洗練された報酬設計を回避し、人間の意図と整合し、様々な現実世界のアプリケーションで大きな可能性を秘めている。しかし、人間の好みに対するフィードバックを得るには費用がかかり、時間がかかり、PbRLの強い障壁となる。本研究では、オフラインPbRLにおけるクエリ効率の低い問題に対処し、非効率な探索と学習された報酬関数の過度な最適化という2つの主な理由を指摘した。これらの課題に対応するために、オフラインPbRLのクエリ効率を高めるために、新しいアルゴリズムである \textbf{O}ffline \textbf{P}b\textbf{R}L を、 \textbf{I}n-\textbf{D}ataset \textbf{E}xploration (OPRIDE) によって提案する。 OPRIDEは2つの重要な特徴から構成される。クエリのインフォメーション性を最大化する探索戦略と、学習された報酬関数の過度な最適化を緩和することを目的としたディスカウントスケジューリング機構である。経験的評価により,OPRIDEは従来手法よりも大幅に優れており,クエリが顕著に少なく,高い性能を実現していることを示す。さらに,アルゴリズムの効率を理論的に保証する。様々な移動,操作,ナビゲーションタスクにまたがる実験結果は,我々のアプローチの有効性と汎用性を示している。

関連論文リスト

Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR [53.27792011950384]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善するためのスケーラブルなパラダイムとして登場した。我々は、RLVRにおける構造化及び多様性駆動探索のためのフレームワークであるNudgeRLを提案する。当社のアプローチでは,各ロールアウトを,軽量で戦略レベルのコンテキストに設定するストラテジーナッジを導入しています。
論文参考訳（メタデータ） (2026-05-15T08:22:59Z)
Data-dependent Exploration for Online Reinforcement Learning from Human Feedback [50.34161049551627]
人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。既存の調査戦略は、しばしば政治上の期待を通じてボーナスを導き出すが、これは訓練中に利用できる限られた歴史的嗜好データから確実に見積もることが難しい。高不確実性領域に対する余分な不確実性ボーナスを構築するために、履歴データを活用するシンプルでスケーラブルなデータ依存型選好最適化法(DEPO)を提案する。
論文参考訳（メタデータ） (2026-05-06T03:56:45Z)
Preference-Guided Reinforcement Learning for Efficient Exploration [14.058764537783086]
LOPE: textbfLearning textbfOnline with trajectory textbfPreferencedanctextbfE, a end-to-end preference-guided RL framework。我々の直感では、LOPEは人的フィードバックをガイダンスとして考慮し、オンライン探索の焦点を直接調整する。 LOPEは収束率と全体的な性能の点で、最先端のいくつかの手法より優れている。
論文参考訳（メタデータ） (2024-07-09T02:11:12Z)
A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
論文参考訳（メタデータ） (2024-06-25T07:45:00Z)
On the Sample Efficiency of Abstractions and Potential-Based Reward Shaping in Reinforcement Learning [1.3381647310440739]
PBRSは、強化学習(RL)におけるサンプル非効率に挑戦する研究において、大きな可能性を秘めている。まず,課題の最適値関数としてのポテンシャル関数の選択が性能上の優位性をもたらす理由について理論的に考察した。そして、PBRSの文脈で有限地平線によって引き起こされるバイアスを解析し、新しい洞察を生み出す。
論文参考訳（メタデータ） (2024-04-11T15:09:49Z)
Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。このような最適化では、以前見過ごされたクエリ依存の目的を特定します。本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文参考訳（メタデータ） (2023-09-13T01:12:52Z)
Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-29T15:00:09Z)
Query-Policy Misalignment in Preference-Based Reinforcement Learning [21.212703100030478]
報酬モデル全体の品質を改善するために選択された一見有意義なクエリは、実際にはRLエージェントの関心と一致しない可能性があることを示す。この問題は、ほぼ政治上のクエリと、特別に設計されたハイブリッド体験リプレイを通じて、効果的に対処できることが示される。提案手法は,人間のフィードバックとRLサンプルの効率の両面で有意な向上を実現している。
論文参考訳（メタデータ） (2023-05-27T07:55:17Z)
Efficient Online Reinforcement Learning with Offline Data [78.92501185886569]
オンライン学習時にオフラインデータを活用するために、既存のオフライン手法を単純に適用できることを示します。私たちはこれらの設計選択を広範囲に改善し、パフォーマンスに最も影響を与える重要な要因を示します。これらのシンプルなレコメンデーションの正しい適用によって、既存のアプローチよりも$mathbf2.5times$の改善が得られます。
論文参考訳（メタデータ） (2023-02-06T17:30:22Z)
Open Problems and Modern Solutions for Deep Reinforcement Learning [0.0]
本稿では,DRLの問題点を調査し,効果的な解法を提案する2つの論文をレビューする。手動で設計した外因性報酬とパラメータ化された内因性報酬関数を組み合わせることで、人間とロボットの協調のための報酬を設計する。もう一つは、バックプロパゲーションの代わりに近似推論を用いてDRLの重要な事前学習特徴を迅速かつ柔軟に選択するために、選択的注意と粒子フィルタを適用している。
論文参考訳（メタデータ） (2023-02-05T04:42:42Z)
Controlled Deep Reinforcement Learning for Optimized Slice Placement [0.8459686722437155]
我々は、"Heuristally Assisted Deep Reinforcement Learning (HA-DRL)"と呼ばれるハイブリッドML-ヒューリスティックアプローチを提案する。提案手法は,最近のDeep Reinforcement Learning (DRL) によるスライス配置と仮想ネットワーク埋め込み (VNE) に活用されている。評価結果から,提案したHA-DRLアルゴリズムは,効率的なスライス配置ポリシーの学習を高速化できることが示された。
論文参考訳（メタデータ） (2021-08-03T14:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。