論文の概要: Model Merging Does Not Require Uniform LoRA Ranks
- arxiv url: http://arxiv.org/abs/2611.06486v2
- Date: Wed, 11 Nov 2026 17:20:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.849146
- Title: Model Merging Does Not Require Uniform LoRA Ranks
- Title(参考訳): 統一されたLoRAランキングを必要としないモデルマージ
- Abstract要約: 3つのドメイン(数学、指示、多言語)で36人のエキスパートを4つのランクと3つのモデルスケールで訓練し、その後、各ドメインの最高ランクと6つのメソッドでマージします。
専門家に異なるランクを与えるには、平均的なコストとユーティリティベースの選択は何もかからず、最大1.8ppのマルチドメイン精度が得られる。
マージは、プールされたスペクトルコンポーネントの固定シェアのみを保持し、サイズによってそれらを選択するメソッドは、損失を減らす多くのものを破棄する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model merging combines separately fine-tuned experts into a single model without retraining. Standard practice trains every expert at the same LoRA rank, which couples the rank choice across experts even though each domain has its own best rank. We show this coupling is a property of the merge method, not of merging. We train 36 experts on three domains (mathematics, instruction following, multilingual) at four ranks and three model scales, then merge with six methods at uniform ranks and at each domain's own best rank. Giving experts different ranks costs averaging and utility-based selection nothing, and gains them up to 1.8 pp of multi-domain accuracy, while the conflict-resolution methods are inconsistent and can lose up to 4 pp. The split has a simple cause. Merging keeps only a fixed share of the pooled spectral components, and methods that choose them by size discard many that would have reduced loss. They also tend to discard the same expert: the instruction adapter has the smallest singular values, so it is dropped almost entirely and IFEval falls by 16 to 25 pp. Choosing components by their effect on loss instead keeps all three experts, and leaves accuracy nearly flat across an 8$\times$ rank range (0.7 pp, against 6.7 pp for TIES at 4B scale). Rank can therefore be chosen per expert whenever the merge operator does not select by magnitude.
- Abstract(参考訳): モデルマージは、個別に調整された専門家をトレーニングせずに単一のモデルに結合する。
標準練習は、同じLoRAランクのすべての専門家を訓練する。
この結合はマージ法の特性であり、マージではないことを示す。
3つのドメイン(数学、指示、多言語)で36人のエキスパートを4つのランクと3つのモデルスケールで訓練し、その後、各ドメインの最高ランクと6つのメソッドでマージします。
専門家に異なるランクを与えるには、平均的なコストとユーティリティベースの選択は一切かからず、最大1.8ppのマルチドメインの精度を得る。
分裂は単純な原因である。
マージは、プールされたスペクトルコンポーネントの固定シェアのみを保持し、サイズによってそれらを選択するメソッドは、損失を減らす多くのものを破棄する。
命令アダプタは最小の特異値を持つので、ほとんど完全に低下し、IFEvalは16ppから25ppに低下する。
部品の損失に対する効果によって部品の選択は3つの専門家を全て保持し、精度は8$\times$ rank range (0.7 pp、TIESは4Bスケールで6.7 pp)でほぼ平らである。
したがって、マージオペレータがマグニチュードで選択しない場合、専門家ごとにランクを選択することができる。
関連論文リスト
- Task Format as a Factor in Adaptation: A Controlled Comparison of LoRA and Full Fine-Tuning for Prompt-Safety Classification [0.0]
低ランク適応 (LoRA) と完全微調整との比較を行った。
ラベルだけでトレーニングされたすべてのアーキテクチャやフォーマットにおいて、完全な微調整のリードであるLoRAを2~3pp削減します。
また、トレーニングされたモデルのスコアはドメイン内の8Bよりも高くなりますが、3つのアウト・オブ・ディストリビューションコーパスのうち2つに隠れています。
論文 参考訳(メタデータ) (2026-10-24T17:24:54Z) - CORD: Conflict-Aware Optimization for Joint RL and Distillation in Agents [53.94288875093263]
CORDは、2つの目的の競合認識最適化のためのフレームワークである。
プロジェクションをトリガーする条件から保護対象の選択を分離し、ミニバッチ毎にグラデーションを結合する。
勾配結合機構として、CORDは目的を維持しつつ、異なるジョイントトレーニングレシピに追加することができる。
論文 参考訳(メタデータ) (2026-10-21T16:19:22Z) - Compositional RL: Evaluating and Training LLMs for Collaborative Reasoning [97.32102143832891]
モデルプールの連立性よりも協調ゲームのシェープリー値を用いてモデルの構成強度を定式化する。
次に,ライブマルチモデルシステム内でポリシーを訓練し,システム全体の成果を報奨する合成強化学習(C-RL)を提案する。
論文 参考訳(メタデータ) (2026-10-12T22:16:45Z) - RAZOR: Pruning Replaceable Experts in LLMs [19.95776080082138]
本稿では,コンセンサス残差に基づく訓練不要プルーニング手法であるRAZORを紹介する。
RAZORは条件付きルート平均平方度で損傷を集約し、階層的な予算の下で専門家を選択する。
4つのモデル予算設定の中で、9つ以上の推論集約的なタスクでマクロ平均を達成している。
論文 参考訳(メタデータ) (2026-09-24T19:02:55Z) - RAPTOR: Role-Aware Private Training for Mixture-of-Experts [68.5626338219096]
RAPTORはRole-Aware Private Trainingフレームワークである。
RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。
GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
論文 参考訳(メタデータ) (2026-09-04T23:16:12Z) - Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models [3.749501286035187]
再正規化は暗黙的に専門家のアウトプットゲインをトレーニングのトップ$k$に校正することを示す。
再正常化を完全に除去することは破滅的であり、適切な基準質量を維持することが重要であることを示す。
論文 参考訳(メタデータ) (2026-09-04T00:11:28Z) - XMerge: Cross-Axis Selection and Reconstructive Layer Merging for LLM Depth Compression [0.0]
交叉軸選択は、相対マグニチュードの低いブロックと角状隠れ状態の変化を識別する。
局所的な境界再構成は、元の2ブロック出力と一致するように、隣接した生存ブロックに適合する。
XMergeはタスクラベルやエンドツーエンドの微調整は使用しない。
論文 参考訳(メタデータ) (2026-09-02T04:12:44Z) - Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms [50.28963615440865]
再利用した人工物によって3つの融合パラダイムを編成する。
モデルスケールとマルチベンチマークスイートで、共有専門家とデータを使用して、これら3つを比較します。
論文 参考訳(メタデータ) (2026-08-27T17:38:04Z) - D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。
既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。
固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。
D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
論文 参考訳(メタデータ) (2026-08-25T17:57:11Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳(メタデータ) (2026-06-02T06:51:15Z) - MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning [0.5076419064097734]
MoE-SieveはLoRAファインチューニングのためのシンプルなルーティング誘導フレームワークである。
上位25%のルーティングされた専門家のみをチューニングすることは、完全なLoRAと競合し続けています。
また、専門家数と種間差異の非単調な関係も観察した。
論文 参考訳(メタデータ) (2026-03-25T07:53:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。