論文の概要: Weak-to-Strong Search: Align Large Language Models via Searching over Small Language Models

• arxiv url: http://arxiv.org/abs/2405.19262v3
• Date: Tue, 19 Nov 2024 13:27:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:34:50.761051
• Title: Weak-to-Strong Search: Align Large Language Models via Searching over Small Language Models
• Title（参考訳）: 弱ストロング探索:小さな言語モデルによる探索による大規模言語モデルの調整
• Authors: Zhanhui Zhou, Zhixuan Liu, Jie Liu, Zhichen Dong, Chao Yang, Yu Qiao,
• Abstract要約: 我々は,テストタイムの欲求検索として,大規模言語モデルのアライメントをフレーミングする,$textitweak-to-strong検索を導入する。 制御された知覚生成と要約では、チューニングされていない$textttgpt2$sを使用して、追加のトレーニングなしで大規模モデルのアライメントを改善する。 より難しい命令追従ベンチマークでは、市販の小型モデルの再利用により、ホワイトボックスモデルとブラックボックスモデルの両方の長制御された勝利率を改善することが示されている。
• 参考スコア（独自算出の注目度）: 22.425339110551743
• License:
• Abstract: Large language models are usually fine-tuned to align with human preferences. However, fine-tuning a large language model can be challenging. In this work, we introduce $\textit{weak-to-strong search}$, framing the alignment of a large language model as a test-time greedy search to maximize the log-probability difference between small tuned and untuned models while sampling from the frozen large model. This method serves both as (1) a compute-efficient model up-scaling strategy that avoids directly tuning the large model and as (2) an instance of weak-to-strong generalization that enhances a strong model with weak test-time guidance. Empirically, we demonstrate the flexibility of weak-to-strong search across different tasks. In controlled-sentiment generation and summarization, we use tuned and untuned $\texttt{gpt2}$s to improve the alignment of large models without additional training. Crucially, in a more difficult instruction-following benchmark, AlpacaEval 2.0, we show that reusing off-the-shelf small models (e.g., $\texttt{zephyr-7b-beta}$ and its untuned version) can improve the length-controlled win rates of both white-box and black-box large models against $\texttt{gpt-4-turbo}$ (e.g., $34.4\% \rightarrow 37.9\%$ for $\texttt{Llama-3-70B-Instruct}$ and $16.0\% \rightarrow 20.1\%$ for $\texttt{gpt-3.5-turbo-instruct}$), despite the small models' low win rates $\approx 10.0\%$.
• Abstract（参考訳）: 大規模な言語モデルは通常、人間の好みに合わせて微調整される。 しかし、大きな言語モデルを微調整することは難しい。 本研究では, 凍結した大モデルからサンプリングしながら, 小さなチューニングされたモデルと未チューニングされたモデルとの対数確率差を最大化するために, 大規模言語モデルのアライメントをテストタイムの欲求探索としてフレーミングする。 本手法は,(1)大規模モデルの直接チューニングを回避する計算効率の高いモデルアップスケーリング戦略,および(2)弱いテスト時間ガイダンスを持つ強モデルを強化する弱強一般化の例として機能する。 経験的に、さまざまなタスクにまたがる弱い検索の柔軟性を実証する。 制御感性生成と要約では、追加のトレーニングなしで大きなモデルのアライメントを改善するために、チューニングと未チューニングの$\texttt{gpt2}$sを使用する。 重要な点として、AlpacaEval 2.0というより難しい命令追従ベンチマークでは、$\texttt{Llama-3-70B-Instruct}$と$16.0\% \rightarrow 20.1\%で$\textt{Llama-3-70B-Instruct}$と$16.0\%の小さなモデル(例: $\textt{zephyr-7b-beta}$とその修正されていないバージョン)を再利用することで、$$\texttt{gpt-4-turbo}$(例:$34.4\% \rightarrow 37.9\%)に対して、ホワイトボックスとブラックボックスの大モデルの長制御された勝利率を改善することができる。

関連論文リスト

• TLDR: Token-Level Detective Reward Model for Large Vision Language Models [57.41524422460438]
  既存の報酬モデルは、任意のテキストに1つのバイナリフィードバックを割り当てることによって、人間のアノテーションを模倣するだけである。 我々は、各テキストトークンにきめ細かいアノテーションを提供するために、$textbfT$oken-$textbfL$evel $textbfD$etective $textbfR$eward Modelを提案する。
  論文  参考訳（メタデータ） (2024-10-07T04:00:22Z)
• Inference-Time Language Model Alignment via Integrated Value Guidance [21.294207620111525]
  私たちは$textitIntegrated Value Guidance$ (IVG)を導入します。 IVGは暗黙的かつ明示的な値関数を使用して、トークンとチャンクレベルで言語モデルのデコーディングをガイドする。 様々なタスクにまたがるIVGの汎用性を実証する。
  論文  参考訳（メタデータ） (2024-09-26T13:15:18Z)
• When Do We Not Need Larger Vision Models? [55.957626371697785]
  視覚モデルのサイズを拡大することが、より強力な視覚表現を得るためのデファクトスタンダードとなっている。 S$2のScaling on Scales(スケーリング・オン・スケール)のパワーを実演します。 1行のコードで任意のビジョンモデルにS$2$を適用可能なPythonパッケージをリリースします。
  論文  参考訳（メタデータ） (2024-03-19T17:58:39Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• R-Drop: Regularized Dropout for Neural Networks [99.42791938544012]
  ドロップアウト(Dropout)は、ディープニューラルネットワークのトレーニングを規則化する、強力で広く使用されているテクニックである。 モデルトレーニングにおけるドロップアウト時の単純な正規化戦略、すなわちR-Dropを導入し、異なるサブモデルの出力分布を互いに整合させる。
  論文  参考訳（メタデータ） (2021-06-28T08:01:26Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。