論文の概要: CRPO: Confidence-Reward Driven Preference Optimization for Machine Translation

• arxiv url: http://arxiv.org/abs/2501.13927v1
• Date: Thu, 23 Jan 2025 18:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:53.379825
• Title: CRPO: Confidence-Reward Driven Preference Optimization for Machine Translation
• Title（参考訳）: CRPO: 機械翻訳のための信頼回帰型推論最適化
• Authors: Guofeng Cui, Pichao Wang, Yang Liu, Zemian Ke, Zhu Liu, Vimal Bhat,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理タスクにおいて大きな可能性を示しているが、機械翻訳(MT)への応用は依然として難しい。 直接選好最適化(DPO)は、よりシンプルで効率的な代替手段として登場したが、その性能は好みデータの品質に大きく依存している。 本稿では,報酬スコアとモデル信頼度を組み合わせて微調整のためのデータ選択を改善する新しい手法であるCRPOを提案する。
• 参考スコア（独自算出の注目度）: 20.959453238159863
• License:
• Abstract: Large language models (LLMs) have shown great potential in natural language processing tasks, but their application to machine translation (MT) remains challenging due to pretraining on English-centric data and the complexity of reinforcement learning from human feedback (RLHF). Direct Preference Optimization (DPO) has emerged as a simpler and more efficient alternative, but its performance depends heavily on the quality of preference data. To address this, we propose Confidence-Reward driven Preference Optimization (CRPO), a novel method that combines reward scores with model confidence to improve data selection for fine-tuning. CRPO selects challenging sentence pairs where the model is uncertain or underperforms, leading to more effective learning. While primarily designed for LLMs, CRPO also generalizes to encoder-decoder models like NLLB, demonstrating its versatility. Empirical results show that CRPO outperforms existing methods such as RS-DPO, RSO and MBR score in both translation accuracy and data efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理タスクにおいて大きな可能性を示しているが、英語中心のデータに対する事前学習や人間からのフィードバック(RLHF)による強化学習の複雑さのため、機械翻訳(MT)への応用は依然として困難である。 直接選好最適化(DPO)は、よりシンプルで効率的な代替手段として登場したが、その性能は好みデータの品質に大きく依存している。 そこで本研究では、報酬スコアとモデル信頼度を組み合わせて微調整のためのデータ選択を改善する新しい手法であるCRPOを提案する。 CRPOは、モデルが不確実であるか、あるいは不適合であるような難解な文対を選択し、より効果的な学習をもたらす。 CRPOは主にLLM向けに設計されたが、NLLBのようなエンコーダデコーダモデルにも一般化されており、その汎用性を示している。 実験の結果,CRPO は RS-DPO, RSO, MBR などの既存手法よりも翻訳精度とデータ効率が優れていた。

関連論文リスト

• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Prototypical Reward Network for Data-Efficient RLHF [17.220998116937444]
  RLHF(Reinforcement Learning from Human Feedback)の報奨モデルが大規模言語モデル(LLM)の微調整に有効であることが証明された。 提案するフレームワークであるProto-RMは,人間からのフィードバックに制限された報酬モデルを改善するために,プロトタイプネットワークを活用している。
  論文  参考訳（メタデータ） (2024-06-06T15:23:30Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Filtered Direct Preference Optimization [7.060398061192042]
  人間からのフィードバックからの強化学習(RLHF)は、言語モデルと人間の嗜好の整合において重要な役割を果たす。 本稿では、直接選好最適化(DPO)に着目して、選好データセットにおけるテキスト品質の問題に対処する。 フィルタされた直接選好最適化(fDPO)と呼ばれるDPOの拡張を提案する。
  論文  参考訳（メタデータ） (2024-04-22T03:05:19Z)
• Optimizing Language Models for Human Preferences is a Causal Inference Problem [41.59906798328058]
  直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。 まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。 我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
  論文  参考訳（メタデータ） (2024-02-22T21:36:07Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。