論文の概要: InfiFusion: A Unified Framework for Enhanced Cross-Model Reasoning via LLM Fusion

• arxiv url: http://arxiv.org/abs/2501.02795v3
• Date: Mon, 17 Feb 2025 03:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:06:25.686392
• Title: InfiFusion: A Unified Framework for Enhanced Cross-Model Reasoning via LLM Fusion
• Title（参考訳）: InfiFusion: LLM Fusionによるクロスモデル推論の統一フレームワーク
• Authors: Zhaoyi Yan, Yiming Zhang, Baoyi He, Yuhao Fu, Qi Zhou, Zhijie Sang, Chunlin Ji, Shengyu Zhang, Fei Wu, Hongxia Yang,
• Abstract要約: InfiFusionは、ドメイン特化言語モデル(LLM)を単一のピボットモデルに統合するために設計された、効率的なトレーニングパイプラインである。 Pairwise Fusion (InfiFusion$_p$) と Unified Fusion (InfiFusion$_u$) の2つの融合戦略を提案する。 InfiFusionは、Qwen-2.5-14B-InstructやPhi-4といった最先端のモデルよりも、11の広く適用されたベンチマークで優れている。
• 参考スコア（独自算出の注目度）: 35.98702433016698
• License:
• Abstract: We introduce InfiFusion, an efficient training pipeline designed to integrate multiple domain-specialized Large Language Models (LLMs) into a single pivot model, effectively harnessing the strengths of each source model. Traditional fusion methods either merge model parameters directly or rely on knowledge distillation with rigid assumptions, limiting their flexibility and efficiency. InfiFusion overcomes these limitations by enhancing Universal Logit Distillation (ULD) with Top-K selection and Logits Standardization. We propose two fusion strategies: Pairwise Fusion (InfiFusion$_p$), where each source model knowledge is distilled individually into the pivot model followed by merging and Unified Fusion (InfiFusion$_u$), where knowledge from all source models is distilled simultaneously into the pivot model. InfiFusion outperforms the state-of-the-art models, such as Qwen-2.5-14B-Instruct and Phi-4, across 11 widely applied benchmarks covering reasoning, coding, mathematics, and instruction-following tasks. Notably, InfiFusion achieves this superior performance while significantly reduces computational costs, completing full training with only 160 H800 GPU hours compared to the millions typically required for traditional LLM training.
• Abstract（参考訳）: InfiFusionは、複数のドメイン特化言語モデル(LLM)を単一のピボットモデルに統合し、各ソースモデルの強みを効果的に活用するために設計された、効率的なトレーニングパイプラインである。 従来の融合法は、モデルパラメータを直接マージするか、厳密な仮定で知識蒸留に依存し、柔軟性と効率を制限している。 InfiFusion はこの制限を克服し、Universal Logit Distillation (ULD) を Top-K selection と Logits Standardization で拡張している。 本稿では,Pairwise Fusion (InfiFusion$_p$) とUnified Fusion (InfiFusion$_u$) の2つの融合戦略を提案する。 InfiFusionはQwen-2.5-14B-InstructやPhi-4のような最先端のモデルよりも優れており、推論、コーディング、数学、命令追従タスクを含む11の広く適用されているベンチマークで優れている。 特に、InfiFusionはこの優れたパフォーマンスを実現し、計算コストを大幅に削減し、従来のLLMトレーニングに通常必要とされる数百万の時間に比べて、フルトレーニングを160H800GPU時間で完了している。

関連論文リスト

• Fusion Matters: Learning Fusion in Deep Click-through Rate Prediction Models [27.477136474888564]
  本稿では,接続学習と操作選択の両方を包含して,融合学習を自動化する手法であるOpsFusionを紹介する。 実験は3つの大規模データセット上で実施される。
  論文  参考訳（メタデータ） (2024-11-24T06:21:59Z)
• Wolf2Pack: The AutoFusion Framework for Dynamic Parameter Fusion [4.164728134421114]
  我々は,事前学習されたチェックポイントを使わずに,マルチタスク学習のための異なるモデルパラメータを融合するフレームワークであるAutoFusionを紹介する。 我々は、よく使われるベンチマークデータセットの実験を通してAutoFusionの有効性を検証する。 私たちのフレームワークは、モデル統合のためのスケーラブルで柔軟なソリューションを提供し、将来の研究および実用的なアプリケーションのための強力なツールとして位置づけています。
  論文  参考訳（メタデータ） (2024-10-08T07:21:24Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
  ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-05T13:54:28Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network [4.1813760301635705]
  本稿では,FedPMT(Federated partial Model Training)を提案する。 したがって、FedPMTのすべてのデバイスは、グローバルモデルの最も重要な部分を優先している。 実証的な結果は、FedPMTが既存のベンチマークFedDropを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2023-11-16T16:30:04Z)
• Deep Model Fusion: A Survey [37.39100741978586]
  Deep Model fusion/mergingは、複数のディープラーニングモデルのパラメータや予測を単一のモデルにマージする、新たなテクニックである。 高い計算コスト、高次元パラメータ空間、異なる異種モデル間の干渉など、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2023-09-27T14:40:12Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。