Fugu-MT 論文翻訳(概要): Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment

論文の概要: Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment

arxiv url: http://arxiv.org/abs/2411.09341v1
Date: Thu, 14 Nov 2024 10:37:34 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-15 15:24:03.066042
Title: Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment
Title（参考訳）: 大規模言語モデルアライメントのための近似変分ベイズ逆強化学習
Authors: Yuang Cai, Yuyu Yuan, Jinsheng Shi, Qinhong Lin,
Abstract要約: 大規模言語モデル(LLM)のアライメントは、有用で無害なコンテンツを生成するために不可欠である。既存のアプローチでは、好みに基づく人間のフィードバックデータを利用して報酬関数を学習する。近似変分アライメント学習(AVRIL)によるLLMアライメントを実現するための新しいトレーニング目標である近似変分アライメント(AVA)を提案する。
参考スコア（独自算出の注目度）: 0.618727087412292
License:
Abstract: The alignment of large language models (LLMs) is crucial for generating helpful and harmless content. Existing approaches leverage preference-based human feedback data to learn the reward function and align the LLM with the feedback data. However, these approaches focus on modeling the reward difference between the chosen and rejected demonstrations, rather than directly modeling the true reward from each demonstration. Moreover, these approaches assume that the reward is only obtained at the end of the sentence, which overlooks the modeling of intermediate rewards. These issues lead to insufficient use of training signals in the feedback data, limiting the representation and generalization ability of the reward and potentially resulting in reward hacking. In this paper, we formulate LLM alignment as a Bayesian Inverse Reinforcement Learning (BIRL) problem and propose a novel training objective, Approximated Variational Alignment (AVA), to perform LLM alignment through Approximated Variational Reward Imitation Learning (AVRIL). The BIRL formulation facilitates intermediate reward modeling and direct reward modeling on each single demonstration, which enhances the utilization of training signals in the feedback data. Experiments show that AVA outperforms existing LLM alignment approaches in reward modeling, RL fine-tuning, and direct optimization.
Abstract（参考訳）: 大規模言語モデル(LLM)のアライメントは、有用で無害なコンテンツを生成するために不可欠である。既存のアプローチでは、好みに基づく人間のフィードバックデータを利用して報酬関数を学習し、LLMをフィードバックデータと整合させる。しかしながら、これらのアプローチは、各デモンストレーションの真の報酬を直接モデル化するのではなく、選択されたデモと拒否されたデモの報酬差をモデル化することに焦点を当てている。さらに、これらの手法は文の末尾でのみ報酬が得られると仮定し、中間報酬のモデル化を見落としている。これらの問題は、フィードバックデータにトレーニング信号が不十分になり、報酬の表現と一般化能力が制限され、潜在的に報酬のハッキングにつながる可能性がある。本稿では,ベイズ逆強化学習(BIRL)問題としてLLMアライメントを定式化し,新しいトレーニング目標であるAVA(Approximated Variational Alignment)を提案し,AVRIL(Approximated Variational Reward Imitation Learning)を通してLLMアライメントを実行する。 BIRLの定式化は、各実験における中間報酬モデリングと直接報酬モデリングを容易にし、フィードバックデータにおけるトレーニング信号の利用を促進する。 AVAは、報酬モデリング、RLファインチューニング、直接最適化において、既存のLLMアライメントアプローチよりも優れていることを示す。

関連論文リスト

Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL [7.988692259455583]
Reinforcement Learning from Human Feedbackで訓練された大規模言語モデル(LLM)は、目覚ましい能力を示しているが、その基盤となる報酬関数や意思決定プロセスは不透明である。本稿では, 逆強化学習(IRL)を用いて暗黙の報酬関数を復元することにより, LLMを解釈する新しい手法を提案する。我々は,ヒトの嗜好を予測する上で,最大80.40%の精度を達成できる報酬モデルを抽出し,様々な大きさの毒性アライメントLDMについて実験を行った。
論文参考訳（メタデータ） (2024-10-16T12:14:25Z)
Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
論文参考訳（メタデータ） (2024-06-04T20:21:45Z)
Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-05-29T17:59:07Z)
Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。提案アルゴリズムはIRL問題の定常解に収束することを示す。その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
論文参考訳（メタデータ） (2024-05-28T07:11:05Z)
Weak-to-Strong Extrapolation Expedites Alignment [135.12769233630362]
モデルと人間の嗜好との整合性を高めるために,ExPOと呼ばれる手法を提案する。 ExPOは市販のDPO/RLHFモデルを一貫して改善することを示した。我々は、アライメントトレーニング中に学んだ報酬信号を増幅するExPOの本質に光を当てた。
論文参考訳（メタデータ） (2024-04-25T17:39:50Z)
RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
論文参考訳（メタデータ） (2024-03-20T17:49:54Z)
Bayesian Reward Models for LLM Alignment [26.612181012468167]
我々は、トレーニングデータ分布からより高い不確実性を示すベイズ報酬モデルを訓練する。得られた不確実性推定は,BoNサンプリングにおける報酬過小評価を効果的に軽減できることがわかった。
論文参考訳（メタデータ） (2024-02-20T18:20:59Z)
Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
論文参考訳（メタデータ） (2024-02-01T17:10:35Z)
Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文参考訳（メタデータ） (2024-01-11T17:56:59Z)
Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game [31.66896160733569]
そこで本稿では,より効率的な人選好最適化を目的としたAPO(Adversarial Preference Optimization)フレームワークを提案する。提案手法は,LLMの有効性と無害性の観点から,既存のアライメントベースラインをさらに強化する。
論文参考訳（メタデータ） (2023-11-14T10:10:31Z)
D-Shape: Demonstration-Shaped Reinforcement Learning via Goal Conditioning [48.57484755946714]
D-Shapeは模倣学習(IL)と強化学習(RL)を組み合わせた新しい手法である本稿では,ILとRLを組み合わせた新たな手法であるD-Shapeを紹介する。スパース・リワード・グリッドワールド領域におけるD-Shapeの有効性を実験的に検証し、サンプル効率の観点からRLよりも改善し、最適ポリシーに一貫した収束を示す。
論文参考訳（メタデータ） (2022-10-26T02:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。