論文の概要: Averaging log-likelihoods in direct alignment

• arxiv url: http://arxiv.org/abs/2406.19188v1
• Date: Thu, 27 Jun 2024 14:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 13:58:17.818523
• Title: Averaging log-likelihoods in direct alignment
• Title（参考訳）: 直接アライメントにおけるログ類似度の平均化
• Authors: Nathan Grinsztajn, Yannis Flet-Berliac, Mohammad Gheshlaghi Azar, Florian Strub, Bill Wu, Eugene Choi, Chris Cremer, Arash Ahmadian, Yash Chandak, Olivier Pietquin, Matthieu Geist,
• Abstract要約: 本稿では,RL問題に対する最適ポリシーを与える最適演算子で構成する,新しい平均演算子を提案する。 このような平均化の効果を実証的に研究し、世代長とスコアのトレードオフを観察する。
• 参考スコア（独自算出の注目度）: 43.77763433288893
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To better align Large Language Models (LLMs) with human judgment, Reinforcement Learning from Human Feedback (RLHF) learns a reward model and then optimizes it using regularized RL. Recently, direct alignment methods were introduced to learn such a fine-tuned model directly from a preference dataset without computing a proxy reward function. These methods are built upon contrastive losses involving the log-likelihood of (dis)preferred completions according to the trained model. However, completions have various lengths, and the log-likelihood is not length-invariant. On the other side, the cross-entropy loss used in supervised training is length-invariant, as batches are typically averaged token-wise. To reconcile these approaches, we introduce a principled approach for making direct alignment length-invariant. Formally, we introduce a new averaging operator, to be composed with the optimality operator giving the best policy for the underlying RL problem. It translates into averaging the log-likelihood within the loss. We empirically study the effect of such averaging, observing a trade-off between the length of generations and their scores.
• Abstract（参考訳）: 大規模言語モデル(LLM)と人間の判断をよりよく整合させるため、RLHF(Reinforcement Learning from Human Feedback)は報酬モデルを学び、正規化されたRLを用いて最適化する。 近年、プロキシ報酬関数を計算せずに好みデータセットから直接、このような微調整されたモデルを学習するために、直接アライメント手法が導入された。 これらの手法は、訓練されたモデルに従って、(非)参照完了のログ類似度を含む対照的な損失に基づいて構築される。 しかし、完備化は様々な長さを持ち、対数様相は長さ不変ではない。 一方、教師付きトレーニングで使用されるクロスエントロピー損失は、バッチは通常トークン単位で平均化されるため、長さ不変である。 これらのアプローチを整理するために、直列長不変化のための原則的アプローチを導入する。 形式的には、基礎となるRL問題に最適なポリシーを与える最適性演算子で構成される新しい平均演算子を導入する。 損失の中でログライクな状態を平均化するのです。 このような平均化の効果を実証的に研究し、世代長とスコアのトレードオフを観察する。

関連論文リスト

• Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference [17.76565371753346]
  本稿では,報酬推論を伴わない2つのRLHFアルゴリズムを提案する。 鍵となる考え方は、人間の嗜好と異なる局所値関数を推定し、ゼロ階勾配近似器でポリシー勾配を近似することである。 以上の結果から,報酬推論なしで一般RLHF問題の解法が確立できることが示唆された。
  論文  参考訳（メタデータ） (2024-09-25T22:20:11Z)
• Reinforcement Learning from Human Feedback without Reward Inference: Model-Free Algorithm and Instance-Dependent Analysis [16.288866201806382]
  モデルフリーなRLHFベストポリシー識別アルゴリズムである$mathsfBSAD$を、明示的な報酬モデル推論なしで開発する。 アルゴリズムは、人選好情報から直接、その最適方針を後方方向に識別する。
  論文  参考訳（メタデータ） (2024-06-11T17:01:41Z)
• Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms [50.808123629394245]
  Direct Preference Optimizationのようなダイレクトアライメントアルゴリズム(DDA)は、古典的なRLHFパイプラインの代替として登場した。 この研究は、DAAに対する過度な最適化やハッキングの問題を定式化し、その成果を目標、訓練体制、モデルスケールにわたって探求する。
  論文  参考訳（メタデータ） (2024-06-05T03:41:37Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• Preference Alignment with Flow Matching [23.042382086241364]
  優先フローマッチング(PFM)は、好みに基づく強化学習(PbRL)のための新しいフレームワークである 事前訓練されたモデルの任意のクラスへの好みの統合を合理化する。 提案手法の標準PbRL目標との整合性を支持する理論的知見を提供する。
  論文  参考訳（メタデータ） (2024-05-30T08:16:22Z)
• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)
• Disentangling Length from Quality in Direct Preference Optimization [93.74831404396174]
  RLHF(Reinforcement Learning from Human Feedback)は、近年の大規模言語モデルの成功において重要な要素である。 RLHFは、冗長性のような人間の嗜好のバイアスを利用することが知られている。 我々は,モデル品質の改善を維持しつつ,長さの搾取を防止するための基本的かつ単純な正規化戦略を開発する。
  論文  参考訳（メタデータ） (2024-03-28T06:03:47Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Contrastive Preference Learning: Learning from Human Feedback without RL [71.77024922527642]
  本稿では、報酬関数を学習せずに好みから最適なポリシーを学習するアルゴリズムであるContrastive Preference Learning (CPL)を紹介する。 CPLは完全に非政治的であり、単純なコントラスト目的のみを使用し、任意のMDPに適用できる。
  論文  参考訳（メタデータ） (2023-10-20T16:37:56Z)
• Non-ergodicity in reinforcement learning: robustness via ergodicity transformations [8.44491527275706]
  強化学習(RL)の応用分野は、自律運転、精密農業、金融などである。 この堅牢性の欠如に寄与する根本的な問題は、リターンの期待値に焦点をあてることにある、と私たちは主張する。 本研究では,データからエルゴディディティを学習するアルゴリズムを提案し,その効果を非エルゴディティ環境において実証する。
  論文  参考訳（メタデータ） (2023-10-17T15:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。