Fugu-MT 論文翻訳(概要): Exploring and Addressing Reward Confusion in Offline Preference Learning

論文の概要: Exploring and Addressing Reward Confusion in Offline Preference Learning

arxiv url: http://arxiv.org/abs/2407.16025v1
Date: Mon, 22 Jul 2024 20:03:36 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 19:25:20.593560
Title: Exploring and Addressing Reward Confusion in Offline Preference Learning
Title（参考訳）: オフライン選好学習における逆流融合の探索と対応
Authors: Xin Chen, Sam Toyer, Florian Shkurti,
Abstract要約: 報酬モデルのトレーニングデータにおけるすっきりとした相関は、人間からの強化学習が望ましい目標を特定し、望ましくない行動を引き起こすのを防ぐことができる。本稿では、特にオフラインデータに急激な相関が存在する場合、オフラインRLHFは、混乱に報いる可能性があることを示す。本研究では,グローバルな選好連鎖を構築しながら,嗜好の推移性を活用することで,報酬の混乱を著しく低減する手法を提案する。
参考スコア（独自算出の注目度）: 18.905112699951392
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Spurious correlations in a reward model's training data can prevent Reinforcement Learning from Human Feedback (RLHF) from identifying the desired goal and induce unwanted behaviors. This paper shows that offline RLHF is susceptible to reward confusion, especially in the presence of spurious correlations in offline data. We create a benchmark to study this problem and propose a method that can significantly reduce reward confusion by leveraging transitivity of preferences while building a global preference chain with active learning.
Abstract（参考訳）: 報酬モデルのトレーニングデータには、人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)が望ましい目標を特定し、望ましくない行動を引き起こすのを防いでいる。本稿では、特にオフラインデータに急激な相関が存在する場合、オフラインRLHFは、混乱に報いる可能性があることを示す。そこで我々は,この問題を調査するためのベンチマークを作成し,積極的学習を伴うグローバルな選好連鎖を構築しながら,選好の推移性を活用することによって,報酬の混乱を著しく低減する手法を提案する。

関連論文リスト

Hindsight Preference Learning for Offline Preference-based Reinforcement Learning [22.870967604847458]
オフライン選好に基づく強化学習(RL)は、オフラインデータセットから選択された軌道セグメントのペア間の人間の選好を使ってポリシーを最適化することに焦点を当てる。本研究では,軌道セグメントの今後の成果を条件とした報酬を用いて,人間の嗜好をモデル化する。提案手法であるHindsight Preference Learning (HPL) は,大規模な未ラベルデータセットで利用可能な膨大なトラジェクトリデータをフル活用することにより,クレジットの割り当てを容易にする。
論文参考訳（メタデータ） (2024-07-05T12:05:37Z)
Controllable Relation Disentanglement for Few-Shot Class-Incremental Learning [82.79371269942146]
本稿では,FewShot Class-Incremental Learning (FSCIL) を新たな視点,すなわち関係の絡み合いから扱うことを提案する。急激な相関関係を切り離すことの課題は、FSCILの制御性が悪いことである。我々は、CTRL-FSCIL(Controllable Relation-disentang FewShot Class-Incremental Learning)と呼ばれる、新しいシンプルな効果のある手法を提案する。
論文参考訳（メタデータ） (2024-03-17T03:16:59Z)
InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。 InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
論文参考訳（メタデータ） (2024-02-14T17:49:07Z)
Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning? [58.942118128503104]
因果的混乱(英: Causal confusion)とは、エージェントがデータ中の不完全な急激な相関を反映するポリシーを学ぶ現象である。この現象は特にロボット工学などの領域で顕著である。本稿では,オフライン強化学習における因果的混乱について検討する。
論文参考訳（メタデータ） (2023-12-28T17:54:56Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Model-enhanced Contrastive Reinforcement Learning for Sequential Recommendation [28.218427886174506]
モデル強化コントラスト強化学習(MCRL)という新しいRLレコメンデータを提案する。一方、ユーザの長期エンゲージメントを推定するためのバリュー関数と、過大評価問題を緩和するための保守的なバリュー学習機構を学習する。実験により,提案手法は既存のオフラインRL法と自己教師付きRL法を著しく上回ることがわかった。
論文参考訳（メタデータ） (2023-10-25T11:43:29Z)
Robust Reinforcement Learning Objectives for Sequential Recommender Systems [7.44049827436013]
我々は、報酬の形で直接ユーザーフィードバックを取り入れ、ユーザのパーソナライズを高めるレコメンデーションシステムを開発する。 RLアルゴリズムを採用することで、政治外のトレーニング、拡張可能なアクションスペース、十分な報酬信号を持つデータセットの不足など、課題が提示される。これらの課題に対して、より効果的な解決策を提供するための拡張された方法論を導入します。
論文参考訳（メタデータ） (2023-05-30T08:09:08Z)
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文参考訳（メタデータ） (2022-03-18T16:50:38Z)
The Challenges of Exploration for Offline Reinforcement Learning [8.484491887821473]
本稿では,情報的経験の収集と最適な行動の推測という,強化学習の2つのプロセスについて考察する。データ収集のタスクに依存しない設定は、タスクが優先順位を分かっていないが、特に興味がある。我々は、この分離されたフレームワークを使用して、探索に関する直感と効果的なオフラインRLのためのデータ前提条件を強化する。
論文参考訳（メタデータ） (2022-01-27T23:59:56Z)
Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。