論文の概要: Decentralized Instruction Tuning: Conflict-Aware Splitting and Weight Merging
- arxiv url: http://arxiv.org/abs/2606.01717v1
- Date: Mon, 01 Jun 2026 05:33:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:31.392326
- Title: Decentralized Instruction Tuning: Conflict-Aware Splitting and Weight Merging
- Title（参考訳）: 分散インストラクションチューニング: 競合意識の分割と重み付け
- Authors: Minsik Choi, Geewook Kim,
- Abstract要約: 我々は多種多様なユーザ意図を持つ言語モデルを訓練し、不均一な混合へのスケーリングは、勾配干渉と帯域幅重大同期によって妨げられることを発見した。
重み付けは曲率重み付き分散還元を生じさせ,PCA対応のコンフリクト分割は高い曲率方向に沿ってこの利得を最大化する。
これらの結果は、分散化されたマージ対応の命令チューニングパイプラインであるMERITを直接動機付けている。
- 参考スコア（独自算出の注目度）: 8.653920907082915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction tuning aligns large language models, including multimodal ones, with diverse user intents, but scaling to heterogeneous mixtures is hindered by gradient interference and bandwidth-heavy synchronization. We ask whether these two bottlenecks can be addressed jointly by training parts of the mixture independently and reconciling them once in parameter space. We develop a local quadratic theory inside a shared flat basin that yields three results: weight merging produces a curvature-weighted variance reduction; PCA-aligned conflict splitting maximizes this gain along high-curvature directions; and merging additionally acts as spectral filtering with implicit norm regularization. These results directly motivate MERIT, a decentralized merge-ready instruction-tuning pipeline that estimates dataset-level gradient conflicts, partitions the mixture along the top PCA conflict axes, fine-tunes each partition independently with no inter-partition communication, and merges once via token-weighted averaging. On Qwen2.5-VL-3B with 136 Vision-FLAN tasks, MERIT improves the 8-benchmark average from 54.3 (joint training) to 57.0. The same recipe scales to a 7B model on a 1.6M-example, 176-source mixture -- matching or exceeding centralized joint training with minimal cost overhead -- and transfers to text-only FLAN. Our code is available at https://github.com/naver-ai/merit.
- Abstract（参考訳）: インストラクションチューニングは、多モーダルモデルを含む大きな言語モデルを多様なユーザ意図で調整するが、不均一な混合へのスケーリングは、勾配干渉と帯域幅重大同期によって妨げられる。
これら2つのボトルネックは、混合体の個別に訓練し、パラメータ空間で一度調整することで、共同で対処できるかどうかを問う。
重み付けは曲率重み付き分散還元を生じさせ,PCA対応のコンフリクト分割は高い曲率方向に沿ってこの利得を最大化し,さらにマージは暗黙のノルム正規化を伴うスペクトルフィルタリングとして機能する。
これらの結果は、データセットレベルの勾配コンフリクトを推定する分散マージ対応の命令チューニングパイプラインであるMERITを直接動機付け、上位PCAコンフリクト軸に沿って混合物を分割し、パーティション間通信なしで独立して各パーティションを微調整し、トークン重み付き平均化を介して一度マージする。
136のVision-FLANタスクを持つQwen2.5-VL-3Bでは、MERITは8ベンチマーク平均を54.3(ジョイントトレーニング)から57.0に改善した。
同じレシピは、1.6Mサンプル、176ソースのミックス -- 最小コストのオーバーヘッドで集中的なジョイントトレーニングにマッチまたは超過 -- 上で7Bモデルにスケールし、テキストのみのFLANに転送する。
私たちのコードはhttps://github.com/naver-ai/merit.comから入手可能です。
関連論文リスト
- OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization [58.03221830946145]
我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。
我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
論文 参考訳（メタデータ） (2026-05-19T04:13:27Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models [25.171094765557996]
8Bの高密度と16BのMoE教師を0.6Bの学生に蒸留すると、2つの異種パイプラインがベースラインを平均1.53ポイント上回る。
HumanEvalのスコアは、ARベースラインの32.3に比べて48.78である。
論文 参考訳（メタデータ） (2026-04-29T17:59:01Z) - The Geometry of Compromise: Unlocking Generative Capabilities via Controllable Modality Alignment [24.22523653033535]
視覚言語モデルは画像とテキストの共有埋め込み空間を学ぶが、それらの表現は幾何学的に分離されている。
このギャップは、キャプションや共同クラスタリングのような、モーダル間交換性を必要とするタスクを制限する。
本稿では,TPC-CMA (Three-Phase Curriculum for Cross-Modal Alignment)を提案する。
論文 参考訳（メタデータ） (2026-03-31T22:11:49Z) - Data-Free Layer-Adaptive Merging via Fisher Information for Long-to-Short Reasoning LLMs [3.18088418556364]
層適応型マージの最初の理論的正当性を提供する。
ランダムトークン入力のみを用いて対角線FIMを演算する textbfFIM-Merging を提案する。
我々のフレームワークはまた、ACMのような既存の層適応手法が統一的な統合を実証的に上回っている理由について、統一的な理論的説明を提供する。
論文 参考訳（メタデータ） (2026-03-23T08:45:37Z) - Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA [61.12136997430116]
低ランク適応(LoRA)に基づく分散連合学習(DFL)により、マルチタスクデータセットを持つモバイルデバイスは、ローカルに更新されたパラメータを、無線接続を介して近隣デバイスのサブセットと交換することで、大きな言語モデル(LLM)を協調的に微調整することができる。
不均一データセットに微調整されたパラメータを直接集約すると、DFLライフサイクルの3つの主要な問題が発生する: (i) 微調整プロセス中に忘れる破滅的な知識、(ii) データの異種性に起因する更新方向の矛盾に起因する。
論文 参考訳（メタデータ） (2026-02-24T02:45:32Z) - Adaptive Split-MMD Training for Small-Sample Cross-Dataset P300 EEG Classification [12.103074826558531]
データセット間のシフトは、大きなソースデータセットで小さなターゲットセットを増やそうとするときに発生する。
適応分割最大値離散化学習(AS-MMD)を紹介する。
AS-MMDは、ターゲット重み付き損失とソース/ターゲットサイズ比の平方根に結びついたウォームアップを組み合わせる。
目標のみのトレーニングやプールトレーニングよりも優れています。
論文 参考訳（メタデータ） (2025-10-24T18:48:21Z) - Aioli: A Unified Optimization Framework for Language Model Data Mixing [74.50480703834508]
提案手法は, 単層サンプリングベースラインを平均的なテストパープレキシティで一貫した性能を発揮できないことを示す。
我々は、Aioliという新しいオンライン手法を導き、トレーニング全体を通して法パラメータの混合を直接推定し、それらを用いて比率を動的に調整する。
論文 参考訳（メタデータ） (2024-11-08T17:50:24Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳（メタデータ） (2022-03-21T07:12:18Z) - Decentralized EM to Learn Gaussian Mixtures from Datasets Distributed by
Features [0.0]
我々は、ガウス混合を垂直分割データに適合させるEMベースのアルゴリズムを提供する。
フェデレート学習では,部分空間に制約されたガウス混合の集中EMフィッティングとマッチングする。
我々は、合成データと実データの両方の様々なトポロジについてVP-EMを実証し、中央集権EMの近似を評価し、利用可能なベンチマークを上回っていることを確認した。
論文 参考訳（メタデータ） (2022-01-24T21:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。