論文の概要: Controlling the Diversity-Quality Trade-Off of LLMs by Merging Models Before and After Alignment
- arxiv url: http://arxiv.org/abs/2610.22999v1
- Date: Fri, 16 Oct 2026 06:24:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.794598
- Title: Controlling the Diversity-Quality Trade-Off of LLMs by Merging Models Before and After Alignment
- Title(参考訳): 配向前後の混合モデルによるLCMの多様性・品質トレードオフの制御
- Abstract要約: 既存の手法では、コストのかかる微調整が必要か、温度サンプリングのように、主に意味的な多様性よりも語彙の多様性を改善する必要がある。
我々は,同調モデルとそのベースモデル間の多様性-品質トレードオフを,追加のトレーニングなしで制御するための,深度に配慮したFrankenMergingアプローチを導入する。
- 参考スコア(独自算出の注目度): 19.243865982602966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Alignment is known to change the output characteristics of large language models (LLMs). Base models tend to generate more diverse outputs, whereas aligned models tend to produce higher-quality outputs. The appropriate balance between the two depends on the task. Existing methods either require costly fine-tuning or, like temperature sampling, mainly improve lexical diversity rather than semantic diversity. We introduce a depth-aware FrankenMerging approach for controlling the diversity--quality trade-off between an aligned model and its base model without additional training. This approach combines the lower layers of an aligned model with the higher layers of its base model based on the hypothesis that lexical diversity is more closely associated with lower layers and semantic diversity with higher layers. Experiments showed that varying the number of layers taken from each model adjusts both diversity and quality. In most cases, the merged models exhibited higher semantic diversity than the aligned model, and at some split positions, they showed higher lexical diversity than both original models. They also demonstrated a better diversity--quality trade-off than temperature sampling in most settings. A supporting ablation, in which we reversed the merging order, yielded results largely consistent with the hypothesis.
- Abstract(参考訳): アライメントは、大きな言語モデル(LLM)の出力特性を変えることが知られている。
ベースモデルはより多様なアウトプットを生成する傾向があり、アライメントモデルは高品質なアウトプットを生成する傾向にある。
2つの間の適切なバランスは、そのタスクに依存します。
既存の手法では、コストのかかる微調整が必要か、温度サンプリングのように、主に意味的な多様性よりも語彙の多様性を改善する必要がある。
そこで我々は,FrankenMergingアプローチを導入し,適応モデルとベースモデルとの多様性と品質のトレードオフを,追加のトレーニングなしで制御する手法を提案する。
このアプローチは、階層の下位層とベースモデルの上位層を結合し、語彙的多様性は下位層とより密接な関係を持ち、上位層と意味的多様性はより密接な関係にあるという仮説に基づいている。
実験の結果、各モデルから取られたレイヤーの数の変化は、多様性と品質の両方を調節することがわかった。
ほとんどの場合、統合モデルはアライメントモデルよりも高い意味多様性を示し、いくつかの分割された位置では、元のモデルよりも高い語彙多様性を示した。
彼らはまた、ほとんどの環境で温度サンプリングよりも多様性と品質のトレードオフを実証した。
マージ順序を逆転させる補助アブレーションは、仮説とほぼ一致した結果を得た。
関連論文リスト
- Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework [8.422915356874876]
Denoising Diffusion Probabilistic Modelsは、分子設計から高分解能画像合成まで、さまざまな領域で強力な生成前駆体として出現している。
標準拡散サンプリングは本質的に高濃度領域に偏りがあり、しばしば出力の多様性を制限する。
ここでは、拡散モデルと品質多様性の統合により、多種多様な高性能な出力の発見が可能となることを示す。
論文 参考訳(メタデータ) (2026-10-11T16:03:52Z) - Diverse LLMs or Diverse Question Interpretations? That is the Ensembling Question [5.847084649531299]
大型言語モデル(LLM)を用いた二分問題に対する2つの多様性アプローチの比較を行った。
いずれの場合も、最終的な回答を決定するために、多数決をアンサンブルの合意として適用する。
Boolq、Strategyqa、pubmedqaの実験は、質問解釈の多様性が一貫してより良いアンサンブル精度をもたらすことを示した。
論文 参考訳(メタデータ) (2025-07-25T15:26:18Z) - Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。
嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。
これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
論文 参考訳(メタデータ) (2025-04-16T23:02:23Z) - Ensembling Diffusion Models via Adaptive Feature Aggregation [14.663257610094625]
より強力な生成能力を生み出すために複数の高品質モデルを活用することは価値があるが、広く研究されていない。
既存のメソッドは主にパラメータマージ戦略を採用して、新しい静的モデルを生成する。
本稿では,様々な状態に応じて複数のモデルのコントリビューションを動的に調整するアダプティブ・フィーチャー・アグリゲーション(AFA)を提案する。
論文 参考訳(メタデータ) (2024-05-27T11:55:35Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳(メタデータ) (2024-05-23T05:25:45Z) - Learning Joint Latent Space EBM Prior Model for Multi-layer Generator [44.4434704520236]
多層ジェネレータモデルの学習における基礎的問題について検討する。
本稿では,全層にまたがる待ち行列空間上のエネルギーモデル (EBM) を提案する。
実験により、学習したモデルが高品質な画像を生成する際に表現できることが実証された。
論文 参考訳(メタデータ) (2023-06-10T00:27:37Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳(メタデータ) (2020-10-25T18:51:15Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳(メタデータ) (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。