論文の概要: Weak-to-Strong Preference Optimization: Stealing Reward from Weak Aligned Model

• arxiv url: http://arxiv.org/abs/2410.18640v1
• Date: Thu, 24 Oct 2024 11:06:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 16:44:01.648194
• Title: Weak-to-Strong Preference Optimization: Stealing Reward from Weak Aligned Model
• Title（参考訳）: Weak-to-Strong Preference Optimization:Weak Aligned Model からのスタイリング・リワード
• Authors: Wenhong Zhu, Zhiwei He, Xiaofeng Wang, Pengfei Liu, Rui Wang,
• Abstract要約: この研究は弱強一般化に触発され、弱いモデルによって生成されるラベルに強いLMを微調整することで、弱いスーパーバイザーを一貫して上回る。 Weak-to-Strong Preference Optimization (WSPO)を提案し、弱いモデルのアライメント前後の分布差を学習することにより、強力なモデルアライメントを実現する。
• 参考スコア（独自算出の注目度）: 28.569089876442682
• License:
• Abstract: Aligning language models (LMs) with human preferences has become a key area of research, enabling these models to meet diverse user needs better. Inspired by weak-to-strong generalization, where a strong LM fine-tuned on labels generated by a weaker model can consistently outperform its weak supervisor, we extend this idea to model alignment. In this work, we observe that the alignment behavior in weaker models can be effectively transferred to stronger models and even exhibit an amplification effect. Based on this insight, we propose a method called Weak-to-Strong Preference Optimization (WSPO), which achieves strong model alignment by learning the distribution differences before and after the alignment of the weak model. Experiments demonstrate that WSPO delivers outstanding performance, improving the win rate of Qwen2-7B-Instruct on Arena-Hard from 39.70 to 49.60, achieving a remarkable 47.04 length-controlled win rate on AlpacaEval 2, and scoring 7.33 on MT-bench. Our results suggest that using the weak model to elicit a strong model with a high alignment ability is feasible.
• Abstract（参考訳）: 言語モデル(LM)を人間の好みに合わせることが、研究の重要な領域となり、これらのモデルが多様なユーザニーズに合うようになってきている。 弱いモデルによって生成されるラベルに強いLMを微調整することで、弱いスーパーバイザーを一貫して上回り、モデルアライメントに拡張する。 本研究では,弱いモデルにおけるアライメントの挙動を,より強いモデルに効果的に伝達し,増幅効果を示すことを観察する。 この知見に基づいて、弱いモデルのアライメント前後の分布差を学習することにより、強力なモデルアライメントを実現する、Wak-to-Strong Preference Optimization (WSPO) という手法を提案する。 実験の結果、WSPOは優れた性能を示し、アリーナ・ハードでのQwen2-7B-インストラクションの勝利率を39.70から49.60に改善し、アルパカ・バル2で47.04の勝利率を達成し、MTベンチで7.33を記録した。 その結果,弱いモデルを用いて高アライメント能力の強いモデルを導出できることが示唆された。

関連論文リスト

• RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style [37.97757796124621]
  RM-Benchは、微妙な内容の違いに対する感度とスタイルバイアスに対する耐性に基づいて報酬モデルを評価するために設計された新しいベンチマークである。 RM-Bench上で40近い報酬モデルを評価し,最先端モデルでさえ平均性能は46.6%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-10-21T16:48:26Z)
• Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
  人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:56:11Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• Weak-to-Strong Reasoning [33.20094938292376]
  我々は、強力なモデルを自律的に訓練データを洗練させるプログレッシブラーニングフレームワークを導入する。 3つの弱いモデルを用いてLlama2-70bの推論能力を大幅に向上させる。 この作業は、AI推論能力を強化するための、よりスケーラブルで洗練された戦略の道を開くものだ。
  論文  参考訳（メタデータ） (2024-07-18T16:25:17Z)
• Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization [68.62228569439478]
  弱い着想の問題が存在するかどうかを考察する。 弱いモデルと強いモデルの間の能力ギャップが増大するにつれて、偽造は増大する。 私たちの研究は、スーパーアライメントの真の信頼性にもっと注意を払う必要があることを強調します。
  論文  参考訳（メタデータ） (2024-06-17T11:36:39Z)
• Quantifying the Gain in Weak-to-Strong Generalization [14.453654853392619]
  より弱いモデルよりも強いモデルによって達成される性能の向上は、弱いモデルによって生成されるラベル上の強モデルによって引き起こされる不適合誤差によって定量化されることを示す。 例えば、強いモデルが弱いモデルよりも改善する量を予測することができ、また、そのミスフィットエラーに基づいて、強いモデルをトレーニングするために異なる弱いモデルを選択することができる。
  論文  参考訳（メタデータ） (2024-05-24T00:14:16Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision [55.196139002977525]
  超人的モデルは、人間が確実に評価することが難しい複雑な方法で振る舞う。 弱いモデルの監督は、より強力なモデルの完全な能力を引き出すことができるか? 弱いモデルが生成したラベルに強い事前訓練されたモデルを鼻で微調整すると、弱いスーパーバイザーよりも一貫して性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-12-14T23:07:33Z)
• Voting based ensemble improves robustness of defensive models [82.70303474487105]
  我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。 最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
  論文  参考訳（メタデータ） (2020-11-28T00:08:45Z)
• Adversarial Concurrent Training: Optimizing Robustness and Accuracy Trade-off of Deep Neural Networks [13.041607703862724]
  ミニマックスゲームにおいて,自然モデルと連動して頑健なモデルを訓練するための適応的並行訓練(ACT)を提案する。 ACTは標準精度68.20%、目標外攻撃で44.29%のロバスト性を達成している。
  論文  参考訳（メタデータ） (2020-08-16T22:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。