Fugu-MT 論文翻訳(概要): ROPO: Robust Preference Optimization for Large Language Models

論文の概要: ROPO: Robust Preference Optimization for Large Language Models

arxiv url: http://arxiv.org/abs/2404.04102v2
Date: Tue, 28 May 2024 17:11:53 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 00:59:19.188450
Title: ROPO: Robust Preference Optimization for Large Language Models
Title（参考訳）: ROPO:大規模言語モデルに対するロバストな選好最適化
Authors: Xize Liang, Chao Chen, Shuang Qiu, Jie Wang, Yue Wu, Zhihang Fu, Zhihao Shi, Feng Wu, Jieping Ye,
Abstract要約: 外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
参考スコア（独自算出の注目度）: 59.10763211091664
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Preference alignment is pivotal for empowering large language models (LLMs) to generate helpful and harmless responses. However, the performance of preference alignment is highly sensitive to the prevalent noise in the preference data. Recent efforts for this problem either marginally alleviate the impact of noise without the ability to actually reduce its presence, or rely on costly teacher LLMs prone to reward misgeneralization. To address these challenges, we propose the RObust Preference Optimization (ROPO) framework, an iterative alignment approach that integrates noise-tolerance and filtering of noisy samples without the aid of external models. Specifically, ROPO iteratively solves a constrained optimization problem, where we dynamically assign a quality-aware weight for each sample and constrain the sum of the weights to the number of samples we intend to retain. For noise-tolerant training and effective noise identification, we derive a robust loss by suppressing the gradients of samples with high uncertainty. We demonstrate both empirically and theoretically that the derived loss is critical for distinguishing noisy samples from clean ones. Furthermore, inspired by our derived loss, we propose a robustness-guided rejection sampling technique to compensate for the potential important information in discarded queries. Experiments on three widely-used datasets with Mistral-7B and Llama-2-7B demonstrate that ROPO significantly outperforms existing preference alignment methods, with its superiority growing as the noise rate increases.
Abstract（参考訳）: 大規模言語モデル(LLM)を有効かつ無害な応答に活用するためには、優先アライメントが重要である。しかし、選好アライメントの性能は、選好データにおける相応の雑音に非常に敏感である。この問題に対する近年の取り組みは、実際に存在感を減らさずにノイズの影響を極端に緩和するか、あるいは、コストのかかるLLMに頼って誤一般化を報いるかのどちらかである。これらの課題に対処するため, RObust Preference Optimization (ROPO) フレームワークを提案する。具体的には、ROPOは制約付き最適化問題を反復的に解決し、各サンプルに品質を考慮した重みを動的に割り当て、重みの和を保持するサンプルの数に制限する。耐雑音性トレーニングと有効雑音識別のために, 不確実性の高い試料の勾配を抑えることにより, 頑健な損失を導出する。ノイズのあるサンプルとクリーンなサンプルを区別するためには, 導出損失が重要であることを実証的および理論的に証明する。さらに, 提案手法は, 提案手法に着想を得て, 廃クエリにおける潜在的重要な情報を補うためのロバストネス誘導型リジェクションサンプリング手法を提案する。 Mistral-7B と Llama-2-7B による3つの広く使われているデータセットの実験により、ROPO はノイズ率の増大に伴って、既存の嗜好アライメント手法を著しく上回っていることが示された。

関連論文リスト

Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
論文参考訳（メタデータ） (2024-10-10T16:01:51Z)
Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
論文参考訳（メタデータ） (2024-09-17T14:05:58Z)
Large Language Model Enhanced Hard Sample Identification for Denoising Recommendation [4.297249011611168]
暗黙のフィードバックは、しばしばレコメンデーションシステムを構築するために使われる。従来の研究では、分散したパターンに基づいてノイズの多いサンプルを識別することで、これを緩和しようと試みてきた。大規模言語モデル強化型ハードサンプルデノゲーションフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-16T14:57:09Z)
Towards Robust Alignment of Language Models: Distributionally Robustifying Direct Preference Optimization [45.6430987775264]
本研究は、DPO(Direct Preference Optimization)のためのトレーニングデータセットにおけるノイズの課題に対処する。ノイズを低品質なデータポイントを含むポイントワイズノイズと、誤ったデータペアアソシエーションを含むペアワイズノイズに分類する。本稿では、最悪の場合のペアワイズシナリオに対して最適化することで、ペアワイズロバストネスを統合した分散ロバスト化DPOを提案する。
論文参考訳（メタデータ） (2024-07-10T17:48:25Z)
Double Correction Framework for Denoising Recommendation [45.98207284259792]
暗黙のフィードバックでは、ノイズの多いサンプルが正確なユーザの好みの学習に影響を与える可能性がある。一般的なソリューションは、モデルトレーニングフェーズでノイズの多いサンプルをドロップすることに基づいている。提案手法では,勧告を記述するための二重補正フレームワークを提案する。
論文参考訳（メタデータ） (2024-05-18T12:15:10Z)
Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文参考訳（メタデータ） (2023-04-22T15:32:59Z)
Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文参考訳（メタデータ） (2023-01-18T04:54:58Z)
Square Root Principal Component Pursuit: Tuning-Free Noisy Robust Matrix Recovery [8.581512812219737]
本稿では,ノイズや外周波で劣化した観測結果から低ランク行列を復元する新しい枠組みを提案する。平方根のラッソにインスパイアされたこの新しい定式化は、ノイズレベルに関する事前の知識を必要としない。正規化パラメータの1つの普遍的な選択は、(事前未知の)雑音レベルに比例した再構成誤差を達成するのに十分であることを示す。
論文参考訳（メタデータ） (2021-06-17T02:28:11Z)
RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文参考訳（メタデータ） (2020-07-04T09:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。