Fugu-MT 論文翻訳(概要): Weighted-Reward Preference Optimization for Implicit Model Fusion

論文の概要: Weighted-Reward Preference Optimization for Implicit Model Fusion

arxiv url: http://arxiv.org/abs/2412.03187v1
Date: Wed, 04 Dec 2024 10:15:12 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-05 15:08:57.069575
Title: Weighted-Reward Preference Optimization for Implicit Model Fusion
Title（参考訳）: 入射モデル融合における重み付き回帰予測最適化
Authors: Ziyi Yang, Fanqi Wan, Longguang Zhong, Tianyuan Shi, Xiaojun Quan,
Abstract要約: Weighted-Reward Preference Optimization (WRPO) は異種オープンソースLCMの融合手法である。 WRPOは語彙アライメントとマトリックス融合の必要性を排除している。 WRPOは既存の融合法や様々な微調整ベースラインより一貫して優れている。
参考スコア（独自算出の注目度）: 35.57286356489511
License:
Abstract: While fusing heterogeneous open-source LLMs with varying architectures and sizes can potentially integrate the strengths of different models, existing fusion methods face significant challenges, such as vocabulary alignment and merging distribution matrices. These procedures are not only complex but also prone to introducing noise and errors. In this paper, we propose an implicit fusion method, Weighted-Reward Preference Optimization (WRPO), which leverages preference optimization between the source LLMs and the target LLM to transfer their capabilities effectively. WRPO eliminates the need for vocabulary alignment and matrix fusion and can be efficiently scaled to accommodate various LLMs. To address distributional deviations between the source and target LLMs, WRPO introduces a progressive adaptation strategy that gradually shifts reliance on preferred examples from the target LLM to the source LLMs. Extensive experiments on the MT-Bench, AlpacaEval-2, and Arena-Hard benchmarks demonstrate that WRPO consistently outperforms existing knowledge fusion methods and various fine-tuning baselines. When applied to LLaMA3-8B-Instruct as the target model, WRPO achieves a length-controlled win rate of 55.9% against GPT-4-Preview-1106 on AlpacaEval-2 and a win rate of 46.2% against GPT-4-0314 on Arena-Hard. Our code is available at \url{https://github.com/SLIT-AI/WRPO}.
Abstract（参考訳）: 異なるアーキテクチャとサイズで異質なオープンソースLLMを融合させることは、異なるモデルの強みを統合できるが、既存の融合法は、語彙アライメントや分布行列のマージといった重要な課題に直面している。これらの手順は複雑であるだけでなく、ノイズやエラーをもたらす傾向がある。本稿では,WRPO(Weighted-Reward Preference Optimization)という暗黙の融合手法を提案する。 WRPOは語彙アライメントやマトリックス融合の必要性を排除し、様々なLSMに対応するために効率的にスケールすることができる。ソースLLMとターゲットLLMの分布差に対処するため、WRPOでは、ターゲットLLMからソースLLMへの好みの例への依存度を徐々にシフトするプログレッシブ適応戦略を導入している。 MT-Bench、AlpacaEval-2、Arena-Hardベンチマークの大規模な実験は、WRPOが既存の知識融合法や様々な微調整ベースラインよりも一貫して優れていることを示した。ターゲットモデルとしてLLaMA3-8B-Instructを適用すると、WRPOはAlpacaEval-2のGPT-4-Preview-1106に対して55.9%、Arena-HardのGPT-4-0314に対して46.2%となる。私たちのコードは \url{https://github.com/SLIT-AI/WRPO} で利用可能です。

関連論文リスト

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文参考訳（メタデータ） (2024-10-27T22:57:12Z)
Sequential Large Language Model-Based Hyper-Parameter Optimization [0.0]
本研究では,Large Language Models (LLMs)を活用する革新的なフレームワークSLLMBOを紹介する。 SLLMBOは、最近の完全にLLMベースの手法の制限に対処することにより、より堅牢な最適化を実現する。ベンチマークでは、GPT-3.5-turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-flashを含む複数のLCMを評価している。
論文参考訳（メタデータ） (2024-10-27T00:50:30Z)
Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
論文参考訳（メタデータ） (2024-08-06T10:46:46Z)
Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
論文参考訳（メタデータ） (2024-06-28T17:16:03Z)
Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
論文参考訳（メタデータ） (2024-06-13T07:57:27Z)
Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
論文参考訳（メタデータ） (2024-05-26T00:29:04Z)
Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
論文参考訳（メタデータ） (2024-04-19T08:52:22Z)
Pack of LLMs: Model Fusion at Test-Time via Perplexity Optimization [18.73637736606997]
Pack of LLMs (PackLLM) は、入力プロンプトが与えられた場合、各LSMの専門知識を活用するテスト時間融合の有効な方法である。我々は,多種多様なタスクに対して,100以上の大規模言語モデル(LLM)を用いて実験を行う。 PackLLMは、テスト時間融合ベースラインを1.89%精度で上回る。
論文参考訳（メタデータ） (2024-04-17T16:24:07Z)
AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文参考訳（メタデータ） (2024-03-19T08:40:21Z)
Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文参考訳（メタデータ） (2024-01-19T05:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。