論文の概要: CAMFT: Conflict-Aware Mergeable Fine-Tuning for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.22253v1
• Date: Sun, 06 Sep 2026 07:08:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.806292
• Title: CAMFT: Conflict-Aware Mergeable Fine-Tuning for Large Language Models
• Title（参考訳）: CAMFT:大規模言語モデルのための競合対応マージ可能なファインチューニング
• Abstract要約: 本稿では, タスク適応を効率よく, マージアウェアの両方にできる, 競合対応のマージ可能なファインタニング手法を提案する。 CAMFTは各タスクに、低いクロスタスク競合を伴うスパース座標の更新を誘導することにより、トレーニングに効率的で、下流モデルのマージに互換性のあるタスク更新を生成する。
• 参考スコア（独自算出の注目度）: 28.873597353615633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging has emerged as a promising paradigm for integrating multiple task-specific capabilities into a single large language model. However, existing methods predominantly focus on post-hoc processing of independently fine-tuned models, overlooking how the training phase itself impacts cross-task compatibility. Resolving parameter conflicts after fine-tuning is inherently sub-optimal. To address this, we propose CAMFT, a Conflict-Aware Mergeable Fine-Tuning method that makes task adaptation both efficient and mergeaware. CAMFT treats mergeability as a property shaped during fine-tuning, rather than only a problem to be solved after fine-tuning. By guiding each task to update sparse coordinates with lower cross-task conflict, CAMFT produces task updates that are efficient to train and more compatible for downstream model merging. Extensive experiments demonstrate that CAMFT outperforms standard finetuning baselines in multi-task merging scenarios. Codes are available at https://github.com/gyanchow/CAMFT-LLM.
• Abstract（参考訳）: モデルマージは、複数のタスク固有の機能をひとつの大きな言語モデルに統合するための、有望なパラダイムとして登場した。 しかし、既存の手法は、トレーニングフェーズ自体がタスク間の互換性にどのように影響するかを見越して、独立して微調整されたモデルのポストホック処理に重点を置いている。 微調整後のパラメータ衝突の解消は本質的に準最適である。 そこで本研究では,CAMFTを提案する。CAMFTは,タスク適応を効率よく,かつ,マージアウェアで行うことのできる,競合対応のマージ可能なファインタニング手法である。 CAMFTは、微調整後に解決すべき問題だけではなく、微調整中に形成された性質としてマージ可能性を扱う。 CAMFTは各タスクに、低いクロスタスク競合を伴うスパース座標の更新を誘導することにより、トレーニングに効率的で、下流モデルのマージに互換性のあるタスク更新を生成する。 大規模な実験により、CAMFTはマルチタスクマージシナリオにおいて標準的な微調整ベースラインよりも優れていた。 コードはhttps://github.com/gyanchow/CAMFT-LLM.comで公開されている。

関連論文リスト

• Resolving Interference (RI): Disentangling Models for Improved Model Merging [33.55896784776345]
  クロスタスク干渉は、その構成モデルに対するマージモデルの表現におけるドリフトである。 本稿では、他のタスクの空間に直交する機能を持つように専門家モデルを切り離す軽量適応フレームワークであるResolving Interference(RI)を提案する。 RIは、最先端のマージ手法の性能を最大3.8%改善し、未確認領域への一般化を最大2.3%改善している。
  論文  参考訳（メタデータ） (2026-03-13T17:59:50Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging [38.12136955174922]
  個別タスクのための微調整された大規模言語モデル(LM)は、高いパフォーマンスをもたらすが、デプロイメントやストレージには高価である。 最近の研究は、複数のタスク固有のモデルを追加トレーニングなしで単一のマルチタスクモデルに結合するモデルマージについて検討している。 既存のマージ方式は、性能劣化のためにローランク適応(LoRA)を微調整したモデルでは失敗することが多い。
  論文  参考訳（メタデータ） (2025-05-28T23:28:12Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• SyMerge: From Non-Interference to Synergistic Merging via Single-Layer Adaptation [28.417947631789783]
  SyMergeは1つのタスク固有のレイヤとマージ係数を共同で最適化する軽量フレームワークである。 SyMergeは、ビジョン、密度予測、NLPベンチマークを越えて最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-12-26T07:42:06Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。