論文の概要: Harnessing Optimization Dynamics for Curvature-Informed Model Merging

• arxiv url: http://arxiv.org/abs/2509.11167v1
• Date: Sun, 14 Sep 2025 08:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.957063
• Title: Harnessing Optimization Dynamics for Curvature-Informed Model Merging
• Title（参考訳）: 曲率インフォームドモデルマージにおける高調波最適化ダイナミクス
• Authors: Pouria Mahdavinia, Hamed Mahdavi, Niloofar Mireshghallah, Mehrdad Mahdavi,
• Abstract要約: 教師付き微調整では、複数の機能ベースのSFTチェックポイントを1つのモデルに統合する必要がある。 我々は、最適化トラジェクトリ・アウェア(OTA)マージと高速フィッシャーグラフティング(FFG)を導入する。 OTA+FFGは、強力な重量空間ベースラインよりもマージモデルの品質を改善し、負の転送を低減し、スパーシティレベルにわたって堅牢である。
• 参考スコア（独自算出の注目度）: 17.42364575754576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging is an effective post-training strategy for composing capabilities in large language models without joint retraining. We study this in the supervised fine-tuning (SFT) stage, where multiple capability-based SFT checkpoints -- spanning math, code, precise instruction following, general instruction following, and knowledge recall -- must be consolidated into a single model. We introduce Optimization Trajectory Aware (OTA) Merging, a curvature-aware aggregation that leverages optimizer second-moment statistics as a diagonal curvature proxy to reweight parameter edits and mitigate interference. Complementing OTA, we propose Fast Fisher Grafting (FFG), a curvature-driven task-localization step that sparsifies conflicting or low-importance edits. FFG induces extremely low-rank masks concentrated in early attention query/key projections and token embeddings, exploiting shared curvature across capabilities. We further develop a memory-light compression of the second moments that preserves OTA's effect. Across diverse capability-based SFT checkpoints, OTA+FFG improves merged-model quality over strong weight-space baselines, reduces negative transfer, and remains robust across sparsity levels. Analyses reveal substantial curvature overlap between checkpoints, offering a novel lens on why simple linear merging can be effective in practice. Ablations confirm that FFG is critical for reducing task interference and that the compressed second moments retain the gains of the full formulation. To facilitate reproducibility, we open-source all code, training and evaluation scripts, visualization artifacts, and capability-specific SFT checkpoints at https://github.com/pmahdavi/ota-merge.
• Abstract（参考訳）: モデルマージは、大きな言語モデルにおいて、ジョイントリトレーニングなしで機能を構築するための効果的な後トレーニング戦略である。 我々はこれを、教師付き微調整(SFT)の段階で研究し、複数の能力ベースのSFTチェックポイント(数学、コード、精密命令追従、汎用命令追従、知識リコール)を1つのモデルに統合する必要がある。 我々は,オプティマイザの2次モーメント統計を対角曲率プロキシとして活用し,パラメータの重み付けと干渉軽減を目的とした曲率アグリゲーションであるOTA(Optimization Trajectory Aware) Mergingを導入する。 OTAを補完する,曲率駆動型タスクローカライゼーションステップであるFast Fisher Grafting (FFG)を提案する。 FFGは、早期の注目クエリ/キープロジェクションとトークンの埋め込みに集中する極低ランクマスクを誘導し、機能間の共有曲率を活用する。 我々はさらに、OTAの効果を保った第2モーメントのメモリ・ライト圧縮を開発する。 多様な機能ベースのSFTチェックポイントにまたがって、OTA+FFGは、強力な重み空間ベースラインよりもマージモデル品質を改善し、負の転送を低減し、疎度レベルにわたって堅牢である。 解析により、チェックポイント間でかなりの曲率の重なりが明らかとなり、なぜ単純な線形マージが実際に有効なのかという新たなレンズが提供される。 アブレーションは、FFGがタスク干渉を減らすために重要であり、圧縮された第2モーメントが完全な定式化の利得を保持することを確認している。 再現性を高めるため、私たちはhttps://github.com/pmahdavi/ota-merge.comで、すべてのコード、トレーニングと評価スクリプト、視覚化アーティファクト、機能固有のSFTチェックポイントをオープンソース化しました。

関連論文リスト

• Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks [17.067788440109137]
  現在、Mixture-of-Experts (MoE)モデルは最先端システムでは標準となっている。 記憶と推論という2つの異なる能力体制にMoEがどのような影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-08-26T04:31:28Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• SuperFlow++: Enhanced Spatiotemporal Consistency for Cross-Modal Data Pretraining [62.433137130087445]
  SuperFlow++は、連続するカメラペアを使用して事前トレーニングと下流タスクを統合する新しいフレームワークである。 SuperFlow++は様々なタスクや運転条件で最先端のメソッドよりも優れています。 強力な一般化性と計算効率により、SuperFlow++は、自動運転におけるデータ効率の高いLiDARベースの認識のための新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:57Z)
• Unlock the Correlation between Supervised Fine-Tuning and Reinforcement Learning in Training Code Large Language Models [12.656574142412484]
  本研究では,教師付き微調整と強化学習の相関関係の解明を試みる。 SFTの一般化には原子関数と合成関数の両方が不可欠である。
  論文  参考訳（メタデータ） (2024-06-14T03:39:01Z)
• Communication Efficient and Provable Federated Unlearning [43.178460522012934]
  我々は、フェデレーション・アンラーニング(フェデレーション・アンラーニング)という、特定のクライアントやデータポイントが、フェデレーション・ラーニング(FL)を通じて学習したグローバルモデルに与える影響をなくすための新しい問題について研究する。 この問題は、忘れられる権利とFLのプライバシー問題によって引き起こされる。 我々は,テキストコミュニケーション効率とテキストテキサクト・アンラーニング性という2つの重要な基準を満たす,正確な非ラーニングのための新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-01-19T20:35:02Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。