論文の概要: Predicting and Repairing Merge Collapse in Large Language Models
- arxiv url: http://arxiv.org/abs/2610.03199v1
- Date: Fri, 02 Oct 2026 12:11:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.359661
- Title: Predicting and Repairing Merge Collapse in Large Language Models
- Title（参考訳）: 大規模言語モデルにおけるマージ崩壊の予測と修復
- Abstract要約: 専門家のタスクベクトルの統計は、この崩壊を予測し、修理を校正することを示している。
PRISMは、まずタスクベクトルを平均化し、次に各レイヤを干渉によって設定されたレベルでソフトスレッショルドする演算子である。
- 参考スコア（独自算出の注目度）: 31.640093683161766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models fine-tuned from a shared base can be merged by averaging their task vectors, but some merges collapse far below the base model, and common merge operators give no warning before evaluation. We show that one statistic of the specialists' task vectors both predicts this collapse and calibrates its repair. The power that averaging removes equals the variance of the task vectors across specialists, our measure of interference. Under a working noise model, the disturbance that a merge injects grows with the merge coefficient and with interference, yielding a pre-merge score. In our experiments on twenty-two merge configurations from four model families, only destructive merges exceed a threshold on this score. We find that statistics of sign conflict between specialists, a common target of existing merge operators, are anti-predictive. We then predicted the outcomes of fourteen merges before evaluating them, and twelve predictions were correct, including the destructive outcome of a specialist pair pushed past the threshold by continued pretraining. To address this collapse, we introduce PRISM, an operator that averages the task vectors first and then soft-thresholds each layer at a level set by the layer's interference. Without data or tuning, PRISM keeps all five destructive merges above the threshold within evaluation noise of the base model, where plain averaging falls at least 14.4 points below it or collapses entirely. We apply PRISM only above the threshold and keep the plain average for merges below it, which include all fifteen harmless ones. Code is available at https://github.com/js-lee-AI/PRISM.
- Abstract（参考訳）: 共有ベースから微調整された大きな言語モデルは、タスクベクトルを平均化することでマージすることができるが、いくつかのマージはベースモデルよりはるかに下方に崩壊し、一般的なマージ演算子は評価の前に警告をしない。
専門家のタスクベクトルの統計は、この崩壊を予測し、修理を校正することを示している。
平均化が除去するパワーは、我々の干渉の測定値である専門家間でのタスクベクトルのばらつきに等しい。
作動雑音モデルの下では、マージが注入される乱れはマージ係数と干渉によって増大し、マージ前のスコアが得られる。
4つのモデルファミリーの22のマージ構成に関する実験では、破壊的なマージのみがこのスコアのしきい値を超えている。
既存のマージオペレーターの共通のターゲットである専門家間のサインコンフリクトの統計は予測不可能である。
その結果,14個のマージの結果が予測され,12個の予測が正しかった。
この崩壊に対処するために、まずタスクベクトルを平均化し、次に各レイヤを干渉によって設定されたレベルでソフトスレッショルドする演算子であるPRISMを導入する。
データやチューニングがなければ、PRISMはベースモデルの評価ノイズの中で5つの破壊的なマージをすべて閾値の上に保持し、そこでは平均値が少なくとも14.4ポイント下にあるか、完全に崩壊する。
我々は、PRISMをしきい値より上にのみ適用し、その下にあるマージの平均値を維持する。
コードはhttps://github.com/js-lee-AI/PRISMで入手できる。
関連論文リスト
- Median Temporal Ensembling: Training-Free Robust Aggregation for Action-Chunked Visuomotor Policies [8.403971471573607]
指数重み付き平均と予測を組み合わせることで、時間的アンサンブルの実行を円滑にする。
計量保証は、与えられた大きさの摂動に応答する。
敵の微調整は、公開されたパッチ攻撃による損失の44%を回復するが、攻撃者のステップサイズが大きくなるとわずか7.3%に留まる。
論文 参考訳（メタデータ） (2026-09-22T23:57:55Z) - The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。
この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。
この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
論文 参考訳（メタデータ） (2026-09-21T09:26:35Z) - Multi-Appliance Non-Intrusive Load Monitoring via Label-Preserving Aggregate Recomposition and Prediction Consistency [0.42970700836450487]
非侵入負荷監視(NILM)は、アプライアンス電力列を集約電力から推定する。
源泉家庭で訓練されたモデルは、通常、目に見えない家庭では精度が低下する。
ラベル保存集合再構成と予測整合性を組み合わせた。
論文 参考訳（メタデータ） (2026-09-16T08:35:42Z) - VST: Verifiable Structured Transport for Auditable Agent-to-Agent Alpha Discovery [11.790070440436294]
エージェント・ツー・エージェント(A2A)アルファ発見は、マイニングと評価エージェント間の繰り返しのフィードバックサイクルによって遅くなる。
我々はまず、この通信をEmphtyped, causally addressable, unicast recordの構造化エージェント対エージェントプロトコルとして再構成する。
型付けが提供するものは、スキーマチェック、決定論的にリプレイされ、構築によって予測を評価者にリークすることを防ぐ状態である。
論文 参考訳（メタデータ） (2026-09-07T05:43:50Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z) - AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery [10.176501817419371]
本稿では,AdaPaD(Adaptive Parallel Deflation)について述べる。
我々は、各成分の誤差がウォームアップ期間後に指数関数的に崩壊することを証明する。
AdaPaDは、GLUE上の適応ランクのLoRAベースラインとDeBERTaV3ベースとの整合パラメータ予算で競合する。
論文 参考訳（メタデータ） (2026-05-11T15:44:13Z) - Collective Robustness Certificates: Exploiting Interdependence in Graph
Neural Networks [71.78900818931847]
ノード分類、画像分割、名前付き一致認識といったタスクでは、複数の予測を同時に出力する分類器があります。
既存の対向ロバスト性証明は、それぞれの予測を独立に考慮し、従ってそのようなタスクに対して過度に悲観的である。
本稿では,摂動下で安定に保たれることが保証される予測数を計算した最初の集合ロバスト性証明を提案する。
論文 参考訳（メタデータ） (2023-02-06T14:46:51Z) - Analyzing and Mitigating Interference in Neural Architecture Search [96.60805562853153]
本研究では、異なる子モデルをサンプリングし、共有演算子の勾配類似度を計算することで干渉問題を解明する。
これら2つの観測から着想を得て、干渉を緩和するための2つのアプローチを提案する。
検索したアーキテクチャは、RoBERTa$_rmbase$が1.1、0.6、ELECTRA$_rmbase$が1.6、テストセットであるGLUEベンチマークで1.1より優れています。
論文 参考訳（メタデータ） (2021-08-29T11:07:46Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Relabel the Noise: Joint Extraction of Entities and Relations via
Cooperative Multiagents [52.55119217982361]
協調型マルチエージェント群を用いて,雑音の多いインスタンスを処理するための共同抽出手法を提案する。
ノイズの多いインスタンスをきめ細かな方法で処理するために、協調グループの各エージェントは、自身の視点で連続的な信頼スコアを算出してインスタンスを評価する。
信頼度コンセンサスモジュールは、すべてのエージェントの知恵を収集し、信頼度ラベル付きラベルでノイズの多いトレーニングセットを再分割するように設計されている。
論文 参考訳（メタデータ） (2020-04-21T12:03:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。