論文の概要: On Diversified Preferences of Large Language Model Alignment

• arxiv url: http://arxiv.org/abs/2312.07401v4
• Date: Wed, 17 Apr 2024 07:28:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 19:10:55.507470
• Title: On Diversified Preferences of Large Language Model Alignment
• Title（参考訳）: 大規模言語モデルアライメントの多様化
• Authors: Dun Zeng, Yong Dai, Pengyu Cheng, Longyue Wang, Tianhao Hu, Wanshun Chen, Nan Du, Zenglin Xu,
• Abstract要約: 本研究では,多彩な嗜好が報酬モデルに及ぼす影響について検討する。 その結果,様々な選好データが報酬モデルのキャリブレーション性能に悪影響を及ぼすことがわかった。 本稿では,RMの校正性能を高めるための多目的リワード学習手法を提案する。
• 参考スコア（独自算出の注目度）: 51.26149027399505
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Aligning large language models (LLMs) with human preferences has been recognized as the key to improving LLMs' interaction quality. However, in this pluralistic world, human preferences can be diversified due to annotators' different tastes, which hinders the effectiveness of LLM alignment methods. This paper presents the first quantitative analysis of commonly used human feedback datasets to investigate the impact of diversified preferences on reward modeling. Our analysis reveals a correlation between the calibration performance of reward models (RMs) and the alignment performance of LLMs. We find that diversified preference data negatively affect the calibration performance of RMs on human-shared preferences, such as Harmless\&Helpful, thereby impairing the alignment performance of LLMs. To address the ineffectiveness, we propose a novel Multi-Objective Reward learning method (MORE) to enhance the calibration performance of RMs on shared preferences. We validate our findings by experiments on three models and five human preference datasets. Our method significantly improves the prediction calibration of RMs, leading to better alignment of the Alpaca-7B model with Harmless\&Helpful preferences. Furthermore, the connection between reward calibration and preference alignment performance suggests that calibration error can be adopted as a key metric for evaluating RMs. The open-source code and data are available at https://github.com/dunzeng/MORE.
• Abstract（参考訳）: 大規模言語モデル(LLM)を人間の好みに合わせることが,LLMのインタラクション品質向上の鍵であると認識されている。 しかし、この多元的世界では、アノテータの嗜好が異なるため、人間の嗜好が多様化し、LCMアライメント手法の有効性を妨げている。 本稿では,ヒトのフィードバックデータセットを定量的に分析し,多彩な嗜好が報酬モデルに与える影響について検討する。 本研究では,報酬モデル(RM)の校正性能とLLMのアライメント性能の相関関係を明らかにする。 その結果,Hamless\&Helpfulなどの人為的嗜好に対するRMの校正性能に悪影響を及ぼし,LCMのアライメント性能を損なうことがわかった。 そこで本研究では, RMの校正性能を向上するMORE(Multi-Objective Reward Learning Method)を提案する。 3つのモデルと5つの人間の嗜好データセットを用いた実験により,本研究の結果を検証した。 提案手法はRMの予測キャリブレーションを大幅に改善し,Alpaca-7BモデルとHarmless\&Helpfulの好みとの整合性が向上する。 さらに,報奨校正性能と選好アライメント性能の関連性から,キャリブレーション誤差がRM評価の指標となることが示唆された。 オープンソースコードとデータはhttps://github.com/dunzeng/MOREで公開されている。

関連論文リスト

• Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
  本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。 収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
  論文  参考訳（メタデータ） (2024-10-22T00:11:41Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• BAPO: Base-Anchored Preference Optimization for Overcoming Forgetting in Large Language Models Personalization [26.526171463511332]
  本稿では,パーソナライズされた好み最適化が大規模言語モデル(LLM)に与える影響について検討する。 BAPOは、グローバルな知識や一般的なアライメントを最小限に抑えながら、多様なユーザの好みに効果的に適応する。
  論文  参考訳（メタデータ） (2024-06-30T13:30:04Z)
• A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
  近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
  論文  参考訳（メタデータ） (2024-06-17T03:52:51Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• MaxMin-RLHF: Towards Equitable Alignment of Large Language Models with Diverse Human Preferences [101.57443597426374]
  Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。 予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。 従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
  論文  参考訳（メタデータ） (2024-02-14T03:56:27Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。