論文の概要: Can Heterogeneous Language Models Be Fused?

• arxiv url: http://arxiv.org/abs/2604.01674v1
• Date: Thu, 02 Apr 2026 06:21:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.560251
• Title: Can Heterogeneous Language Models Be Fused?
• Title（参考訳）: 異種言語モデルは融合できるか?
• Abstract要約: モデルマージは、複数の専門家モデルを単一のモデルに統合することを目的としています。 最近の進歩は、全てのソースモデルが均質である場合、すなわち、同じ事前訓練されたバックボーンから派生したマージングが非常に効果的であることを示している。 しかし、オープンモデルエコシステムでは、この仮定はますます非現実的になり、Llama、Qwen、Mistralのような異なるファミリーで有用な専門家がしばしば構築される。 このような不均質な環境では、直接重み空間融合が悪くなる
• 参考スコア（独自算出の注目度）: 24.088997528611873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging aims to integrate multiple expert models into a single model that inherits their complementary strengths without incurring the inference-time cost of ensembling. Recent progress has shown that merging can be highly effective when all source models are \emph{homogeneous}, i.e., derived from the same pretrained backbone and therefore share aligned parameter coordinates or compatible task vectors. Yet this assumption is increasingly unrealistic in open model ecosystems, where useful experts are often built on different families such as Llama, Qwen, and Mistral. In such \emph{heterogeneous} settings, direct weight-space fusion becomes ill-posed due to architectural mismatch, latent basis misalignment, and amplified cross-source conflict. We address this problem with \texttt{HeteroFusion} for heterogeneous language model fusion, which consists of two key components: topology-based alignment that transfers knowledge across heterogeneous backbones by matching functional module structures instead of raw tensor coordinates, and conflict-aware denoising that suppresses incompatible or noisy transfer signals during fusion. We further provide analytical justification showing that preserving the target adapter basis while predicting structured updates leads to a stable and well-conditioned transfer process. Across heterogeneous transfer, multi-source fusion, noisy-source robustness, and cross-family generalization settings, \texttt{HeteroFusion} consistently outperforms strong merging, fusion, and ensemble baselines.
• Abstract（参考訳）: モデルマージは、複数の専門家モデルを単一のモデルに統合することを目的としています。 最近の進歩は、全てのソースモデルが \emph{homogeneous} である場合、すなわち、同じ事前訓練されたバックボーンから派生し、従って整列したパラメータ座標や互換タスクベクトルを共有する場合、マージは極めて効果的であることを示している。 しかし、オープンモデルエコシステムでは、この仮定はますます非現実的になり、Llama、Qwen、Mistralのような異なるファミリーで有用な専門家がしばしば構築される。 このようなemph{heterogeneous}設定では、アーキテクチャミスマッチ、潜伏ベースミスアライメント、増幅されたソース間の競合により、直接重み空間融合が悪くなる。 この問題は、異種言語モデル融合のための‘texttt{HeteroFusion} を用いて解決される。これは、生テンソル座標の代わりに関数モジュール構造をマッチングすることにより、異種バックボーン間で知識を伝達するトポロジーベースのアライメントと、融合中に不整合またはノイズの伝達信号を抑圧するコンフリクト・アウェア・デノイングである。 さらに、構造化された更新を予測しながらターゲットアダプタベースを保存することで、安定かつ良好な転送プロセスが実現されることを示す分析的正当性も提供する。 異種間移動、マルチソース融合、ノイズソースの堅牢性、およびクロスファミリーの一般化設定、 \texttt{HeteroFusion} は、強いマージ、融合、アンサンブルベースラインを一貫して上回る。

関連論文リスト

• Impute-EM: Native Mixed-State Diffusion Models for Heterogeneous Data Imputation [71.74203645336385]
  Impute-EMは、現在のモデルとインプットされていないエントリを交換し、完了したデータに拡散バックボーンをリフィットする。 我々は、この更新を特徴付け、観測されたマスクインデクシングされた辺縁線が、その限界で目標と一致していることを示す。
  論文  参考訳（メタデータ） (2026-09-14T09:39:13Z)
• Understanding Synergistic Interactions among Pathology Foundation Models via Adaptive Fusion [49.550545038402184]
  病理基盤モデル(PFM)は、大規模病理画像の自己教師付き事前トレーニングを通じて、強力なタイルレベルの表現を提供する。 AdaFusionは軽量な適応型核融合フレームワークで、複数の凍結されたPFMから補完的な信号を統合する。 AdaFusionは、解釈可能な組織可視化を提供しながら、個々のPFMやその他の融合ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-02T16:44:45Z)
• Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients [22.724544289853558]
  FedSLMは異種圧縮クライアントとのファインチューニングのためのパラメータ中心のフレームワークである。 我々は,アダプタレベルのアグリゲーションの理論的保証,グループ間融合における部分空間アライメント境界,および信頼損失が弱いスーパービジョンノイズを緩和する方法のキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2026-07-31T06:45:56Z)
• Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective [41.30735431552607]
  異種融合法は通常、アダプタ、学習された潜在空間、ルーティング、機能アライメントを導入する。 学習自由次元適応と比制御比による反直感的質問を再考する。 その結果, 簡易パラメータ平均化は, 軽量次元適応と慎重に制御された比とを組み合わせれば, 不均一なマージに対する驚くほど強力なベースラインであることが示唆された。
  論文  参考訳（メタデータ） (2026-07-20T14:58:53Z)
• Anisotropic Modality Align [91.23979617826926]
  マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。 近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。 中心となる障害は、共有空間の永続的なモダリティギャップにある。
  論文  参考訳（メタデータ） (2026-05-08T14:53:24Z)
• Empowering Heterogeneous Graph Foundation Models via Decoupled Relation Alignment [20.128308877213044]
  Decoupled Relation Subspace Alignment (DRSA)は、新しいプラグアンドプレイ関係駆動フレームワークである。 特徴的意味論を関係構造から切り離すことによってパラダイムを根本的にシフトさせる。 ユニバーサルプリプロセッシングモジュールとしてシームレスに統合することができる。
  論文  参考訳（メタデータ） (2026-05-01T15:31:36Z)
• Generative Data Transformation: From Mixed to Unified Data [57.84692191369066]
  textscTaesarはtextbftarget-textbfal textbfregenerationのためのEmphdata中心のフレームワークである。 ドメイン間のコンテキストを対象のシーケンスにエンコードすることで、複雑な融合アーキテクチャを使わずに、標準的なモデルで複雑な依存関係を学習することができる。
  論文  参考訳（メタデータ） (2026-02-26T08:30:09Z)
• Annealed Co-Generation: Disentangling Variables via Progressive Pairwise Modeling [29.29369402735124]
  本稿では,高次元拡散モデリングを低次元拡散モデルに置き換えたAnnealed Co-Generationフレームワークを提案する。 2つの異なる科学的課題に対して,フレームワークの柔軟性と有効性を示す。
  論文  参考訳（メタデータ） (2026-02-20T07:42:11Z)
• Breaking the Factorization Barrier in Diffusion Language Models [59.946071582340146]
  ベクトル化障壁」は拡散言語モデルの効率的な並列生成を妨げる。 完全分解出力分布を置き換えるための結合離散拡散法を提案する。 我々は, CoDD が多種多様な言語モデルアーキテクチャをシームレスに拡張し, オーバーヘッドを無視できることを示した。
  論文  参考訳（メタデータ） (2026-02-09T08:36:39Z)
• Disentangling History and Propagation Dependencies in Cross-Subject Knee Contact Stress Prediction Using a Shared MeshGraphNet Backbone [0.8283940114367679]
  予測の不確実性の主な原因が時間的履歴依存か空間的伝播依存かは、まだ不明である。 OpenSim-FEBioワークフローを使用して、9つの被験者による試行のデータセットを構築した。 ヒストリーエンコーディングを組み込んだモデルは、大域的精度と空間的整合性において、ベースラインMGNとModMGNを大きく上回った。
  論文  参考訳（メタデータ） (2026-01-13T08:15:57Z)
• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• The Trojan in the Vocabulary: Stealthy Sabotage of LLM Composition [31.827344197678126]
  トケナイザー移植はサプライチェーンの脆弱性を導入する。 係数再利用の幾何学を利用して、我々の攻撃は非対称的な実現可能性ギャップを生み出す。 実験的に、攻撃は訓練なしで、スペクトルの模倣を達成し、異常検出を回避する。
  論文  参考訳（メタデータ） (2025-12-31T19:00:03Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• H2Tune: Federated Foundation Model Fine-Tuning with Hybrid Heterogeneity [25.639893635287187]
  本稿では,ハイブリッドなヘテロジニティを持つファウンデーションモデルH2Tuneを提案する。 フレームワークは3つの主要なコンポーネントから構成される: (i) 階層化された三重行列分解(sparsified triple matrix decomposition) クライアントリソースに基づく適応的なスパーシフィケーション(adaptive sparsification) 、 (ii) 異種層構造と表現能力を扱うための関係誘導行列層アライメント、 (iii) タスク知識のアンタングルメント機構の交替による局所モデルパラメータの共有および特定知識の分離。
  論文  参考訳（メタデータ） (2025-07-30T12:53:18Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。