Fugu-MT 論文翻訳(概要): Robust Preference Optimization with Provable Noise Tolerance for LLMs

論文の概要: Robust Preference Optimization with Provable Noise Tolerance for LLMs

arxiv url: http://arxiv.org/abs/2404.04102v1
Date: Fri, 5 Apr 2024 13:58:51 GMT
ステータス: 処理完了
システム内更新日: 2024-04-08 16:05:12.535874
Title: Robust Preference Optimization with Provable Noise Tolerance for LLMs
Title（参考訳）: LLMの耐雑音性を考慮したロバスト優先最適化
Authors: Xize Liang, Chao Chen, Jie Wang, Yue Wu, Zhihang Fu, Zhihao Shi, Feng Wu, Jieping Ye,
Abstract要約: 好みのアライメントは、大きな言語モデルが人間の値に適合する応答を生成できるようにすることを目的としている。レスポンスペアの比較のランキングラベルは必然的に騒がしい。そこで本研究では,ノイズ耐性のある優先アライメント手法,すなわちRObust Preference Optimizationを提案する。
参考スコア（独自算出の注目度）: 59.04090161300883
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The preference alignment aims to enable large language models (LLMs) to generate responses that conform to human values, which is essential for developing general AI systems. Ranking-based methods -- a promising class of alignment approaches -- learn human preferences from datasets containing response pairs by optimizing the log-likelihood margins between preferred and dis-preferred responses. However, due to the inherent differences in annotators' preferences, ranking labels of comparisons for response pairs are unavoidably noisy. This seriously hurts the reliability of existing ranking-based methods. To address this problem, we propose a provably noise-tolerant preference alignment method, namely RObust Preference Optimization (ROPO). To the best of our knowledge, ROPO is the first preference alignment method with noise-tolerance guarantees. The key idea of ROPO is to dynamically assign conservative gradient weights to response pairs with high label uncertainty, based on the log-likelihood margins between the responses. By effectively suppressing the gradients of noisy samples, our weighting strategy ensures that the expected risk has the same gradient direction independent of the presence and proportion of noise. Experiments on three open-ended text generation tasks with four base models ranging in size from 2.8B to 13B demonstrate that ROPO significantly outperforms existing ranking-based methods.
Abstract（参考訳）: 嗜好アライメントは、一般的なAIシステムを開発する上で不可欠な、人間の値に適合する応答を生成するために、大きな言語モデル(LLM)を可能にすることを目的としている。ランク付けベースの手法(アライメントアプローチの有望なクラス)は、好ましくない応答と好ましくない応答の間のログライクなマージンを最適化することで、応答ペアを含むデータセットから人間の好みを学習する。しかし、アノテータの好みに固有の違いがあるため、応答対の比較のランキングラベルは避けられないほどうるさい。これは既存のランキングベースの手法の信頼性を著しく損なう。この問題に対処するため,ROPO (RObust Preference Optimization) というノイズ耐性のある優先アライメント手法を提案する。我々の知る限りでは、ROPOは耐雑音性を保証する最初の選好アライメント法である。 ROPOの鍵となる考え方は、応答間のログライクなマージンに基づいて、ラベルの不確かさの高い応答対に対して、保守的な勾配重みを動的に割り当てることである。雑音の勾配を効果的に抑制することにより, 重み付け戦略により, 騒音の有無と比によらず, 予測されるリスクが同じ勾配方向であることを保証する。 ROPOは2.8Bから13Bまでの4つの基本モデルを持つ3つのオープンエンドテキスト生成タスクの実験により、ROPOが既存のランキングベースの手法を大幅に上回ることを示した。

関連論文リスト

Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
論文参考訳（メタデータ） (2024-10-10T16:01:51Z)
Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
論文参考訳（メタデータ） (2024-09-17T14:05:58Z)
Large Language Model Enhanced Hard Sample Identification for Denoising Recommendation [4.297249011611168]
暗黙のフィードバックは、しばしばレコメンデーションシステムを構築するために使われる。従来の研究では、分散したパターンに基づいてノイズの多いサンプルを識別することで、これを緩和しようと試みてきた。大規模言語モデル強化型ハードサンプルデノゲーションフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-16T14:57:09Z)
Towards Robust Alignment of Language Models: Distributionally Robustifying Direct Preference Optimization [45.6430987775264]
本研究は、DPO(Direct Preference Optimization)のためのトレーニングデータセットにおけるノイズの課題に対処する。ノイズを低品質なデータポイントを含むポイントワイズノイズと、誤ったデータペアアソシエーションを含むペアワイズノイズに分類する。本稿では、最悪の場合のペアワイズシナリオに対して最適化することで、ペアワイズロバストネスを統合した分散ロバスト化DPOを提案する。
論文参考訳（メタデータ） (2024-07-10T17:48:25Z)
Double Correction Framework for Denoising Recommendation [45.98207284259792]
暗黙のフィードバックでは、ノイズの多いサンプルが正確なユーザの好みの学習に影響を与える可能性がある。一般的なソリューションは、モデルトレーニングフェーズでノイズの多いサンプルをドロップすることに基づいている。提案手法では,勧告を記述するための二重補正フレームワークを提案する。
論文参考訳（メタデータ） (2024-05-18T12:15:10Z)
Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文参考訳（メタデータ） (2023-04-22T15:32:59Z)
Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文参考訳（メタデータ） (2023-01-18T04:54:58Z)
Square Root Principal Component Pursuit: Tuning-Free Noisy Robust Matrix Recovery [8.581512812219737]
本稿では,ノイズや外周波で劣化した観測結果から低ランク行列を復元する新しい枠組みを提案する。平方根のラッソにインスパイアされたこの新しい定式化は、ノイズレベルに関する事前の知識を必要としない。正規化パラメータの1つの普遍的な選択は、(事前未知の)雑音レベルに比例した再構成誤差を達成するのに十分であることを示す。
論文参考訳（メタデータ） (2021-06-17T02:28:11Z)
RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文参考訳（メタデータ） (2020-07-04T09:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。