論文の概要: Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers

• arxiv url: http://arxiv.org/abs/2606.23607v1
• Date: Mon, 22 Jun 2026 17:08:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 17:53:52.381808
• Title: Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers
• Title（参考訳）: 線形モード接続のスケーリングと数十億個のパラメータ事前学習変圧器へのマージ
• Abstract要約: 事前学習したトランスにLCCをベースとしたモデルマージを実現するための新しいフレームワークを提案する。 本手法は,パラメータ化機能保存変換を適切に適用し,両モデルが対応する解を共同で学習する2つの学習手順を導入する。 経験的に,本手法はWikiTextにおける中規模パラメータを持つ言語モデルに対するほぼゼロに近い損失障壁を示し,この規模でのニアバリアフリー線形接続の実証実験である。
• 参考スコア（独自算出の注目度）: 42.7047638496247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear mode connectivity (LMC) provides a promising foundation for understanding and merging independently trained neural networks, but existing methods typically optimize the interpolation path from only one model endpoint, limiting their scalability and effectiveness for large pretrained transformers. We propose a novel and scalable framework for enabling LMC-based model merging to {\em billion-parameter pretrained transformers}. Our method applies properly parameterized functionality-preserving weight transformations to align functionally equivalent solutions, and introduces a dual learning procedure in which both models jointly learn their corresponding transformations toward a shared linear interpolation path. This bidirectional optimization substantially reduces interpolation barriers and enables more reliable merging across large-scale architectures. Empirically, we show that our approach achieves near-zero loss barriers on WikiText for language models with medium-sized parameters, representing, to our knowledge, the first demonstration of near-barrier-free linear connectivity at this scale. In the vision domain, ViT-L maintains above 69\% ImageNet top-1 accuracy throughout the interpolation path, while modern billion-parameter LLMs exhibit only small loss barriers. These results suggest that properly resolving parameter symmetries enables large pretrained Transformers to be connected and merged through simple linear paths with substantially improved interpolation performance. Code: https://github.com/VILA-Lab/Dual-Learned-Matching .
• Abstract（参考訳）: 線形モード接続(LMC)は、独立に訓練されたニューラルネットワークの理解と統合のための有望な基盤を提供するが、既存の手法は通常、1つのモデルエンドポイントのみからの補間パスを最適化し、大きな事前訓練されたトランスフォーマーのスケーラビリティと有効性を制限する。 本稿では, LMC をベースとしたモデル統合を, 数十億パラメータの事前学習型変換器に実現するための, 新規でスケーラブルなフレームワークを提案する。 本手法は,機能的に等価な解を整合させるために,パラメータ化関数保存重み変換を適切に適用し,両モデルが共用線形補間経路への変換を共用的に学習する二重学習手法を提案する。 この双方向最適化は補間障壁を大幅に減らし、大規模アーキテクチャ間のより信頼性の高いマージを可能にする。 実験により,本手法は,中規模パラメータを持つ言語モデルに対して,WikiTextのほぼゼロの損失障壁を達成できることを実証的に示す。 視覚領域では、ViT-Lは69\% ImageNet Top-1の精度を補間経路を通して維持するが、現代の10億パラメータのLLMは小さな損失障壁しか示さない。 これらの結果から, パラメータ対称性を適切に解けることで, 補間性能が大幅に向上し, 単純な線形経路を通した大きな事前学習トランスフォーマを接続し, マージできることが示唆された。 コード:https://github.com/VILA-Lab/Dual-Learned-Matching。

関連論文リスト

• Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective [41.30735431552607]
  異種融合法は通常、アダプタ、学習された潜在空間、ルーティング、機能アライメントを導入する。 学習自由次元適応と比制御比による反直感的質問を再考する。 その結果, 簡易パラメータ平均化は, 軽量次元適応と慎重に制御された比とを組み合わせれば, 不均一なマージに対する驚くほど強力なベースラインであることが示唆された。
  論文  参考訳（メタデータ） (2026-07-20T14:58:53Z)
• cMoLLM at Scale: Horizontal Scaling Laws for Mixture-of-LLMs [3.50654760771471]
  cMoLLMは、完全に微分可能な動的畳み込みを通じて、エンドツーエンドのストリームをルーティングする、畳み込みでゲートされたLLMの混合である。 FineWebでトレーニングされたGPT-2スタイルのモデルでは、cMoLLMは言語モデリングの難易度と下流GLUEとSQuADの精度を改善している。
  論文  参考訳（メタデータ） (2026-06-06T13:51:15Z)
• Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
  本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。 FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。 本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
  論文  参考訳（メタデータ） (2026-02-05T20:16:10Z)
• Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations [55.047454145941366]
  Streaming Mergingは、反復最適化プロセスとしてマージを概念化する革新的なモデル更新パラダイムである。 ARMは勾配勾配勾配のダイナミクスを近似するために設計された戦略である。 ARMは初期のSFTチェックポイントしか必要とせず、反復的なマージによって完全に収束したSFTモデルを上回る。
  論文  参考訳（メタデータ） (2026-02-03T08:15:57Z)
• Improving Recursive Transformers with Mixture of LoRAs [2.672804414228544]
  共有フィードフォワードネットワーク(FFN)内にLoRA(Lo-Rank Adaptation)の専門家を挿入するLoRA(MoL)の混合 MoLは、バックボーンパラメータをアンタイズすることなく共有FFNのトークン条件の重み空間変調を可能にする。 ModernALBERTは、コンパクトモデル間で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-14T23:39:30Z)
• Transformer-based Scalable Beamforming Optimization via Deep Residual Learning [12.79709425087431]
  大規模MU-MISOチャネルにおけるダウンリンクビームフォーミングのための教師なしディープラーニングフレームワーク。 モデルはオフラインでトレーニングされ、動的通信環境における軽量フィードフォワード計算によるリアルタイム推論を可能にする。
  論文  参考訳（メタデータ） (2025-10-15T01:43:51Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
  ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。 畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。 線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-09-26T07:24:09Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。