論文の概要: FusionEval: Benchmarking Model Fusion for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.30162v1
• Date: Wed, 30 Sep 2026 18:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 00:37:12.15955
• Title: FusionEval: Benchmarking Model Fusion for Large Language Models
• Title（参考訳）: FusionEval: 大規模言語モデルのためのベンチマークモデルフュージョン
• Abstract要約: FusionEvalは、制御されたエキスパートプールを提供し、トレーニングなしでフュージョンメソッドを統合するベンチマークであり、統一された評価スイートを提供する。 プールには、Qwen3とLlamaベースモデルから独立した訓練を受けたドメインエキスパートが含まれており、数学、コード、科学、インストラクションフォロー、ツールの使用が可能である。 実験により、学習不要な手法は推論性能は保たれるが、どちらのモデルスケールでもツールの使用は著しく低下することが示された。
• 参考スコア（独自算出の注目度）: 30.4406436358363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model fusion aims to integrate the capabilities of multi-expert models into a single model. Existing evaluations offer limited coverage of reasoning with long chains of thought and tool use, while strong average performance can mask substantial losses in individual expert capabilities. We introduce FusionEval, a benchmark that provides controlled expert pools, integrates fusion methods with and without additional training, and offers a unified evaluation suite. The pools contain domain experts independently trained from Qwen3 and Llama base models across math, code, science, instruction following, and tool use. The suite evaluates capability retention and computational cost on eight public benchmarks under comparable data access rules, reporting normalized average and worst performance, runtime, and peak GPU memory usage. Extensive experiments show that training-free methods preserve reasoning performance but substantially degrade tool use at both model scales. In contrast, MOPD preserves tool use and achieves a more balanced capability profile, but requires additional data preparation, inference, and training. Jointly retaining reasoning, instruction following, and tool use at low computational cost remains a challenge. We hope FusionEval supports future research on efficient model fusion that jointly preserves expert capabilities. Our code is available at https://github.com/Baicaihaochi/FusionEval_Benchmark.
• Abstract（参考訳）: モデル融合は、マルチエキスパートモデルの能力を単一のモデルに統合することを目的としている。 既存の評価は、思考とツールの使用の長い連鎖による推論を限定的にカバーする一方で、強い平均的なパフォーマンスは、個々の専門家能力のかなりの損失を隠蔽する可能性がある。 制御されたエキスパートプールを提供するベンチマークであるFusionEvalを導入し、追加のトレーニングと無しでフュージョンメソッドを統合するとともに、統一された評価スイートを提供する。 プールには、Qwen3とLlamaベースモデルから独立した訓練を受けたドメインエキスパートが含まれており、数学、コード、科学、インストラクションフォロー、ツールの使用が可能である。 このスイートは、同等のデータアクセスルールの下で8つの公開ベンチマークで機能保持と計算コストを評価し、正規化された平均と最悪のパフォーマンス、ランタイム、ピークGPUメモリ使用率を報告している。 総合的な実験により、トレーニング不要な手法は推論性能は保たれるが、どちらのモデルスケールでもツールの使用は著しく低下することが示された。 対照的に、MOPDはツールの使用を保存し、よりバランスの取れた機能プロファイルを達成するが、追加のデータ準備、推論、トレーニングが必要である。 計算コストの低い推論、命令、ツールの使用を共同で維持することは、依然として課題である。 FusionEvalは、専門家の能力を共同で保存する効率的なモデル融合に関する将来の研究をサポートすることを願っている。 私たちのコードはhttps://github.com/Baicaihaochi/FusionEval_Benchmarkで公開されています。

関連論文リスト

• Souper-Model: How Simple Arithmetic Unlocks State-of-the-Art LLM Performance [15.244354622288226]
  本稿では,モデルスープの原則的アプローチである Soup Of Category Experts (SoCE) を紹介する。 SoCEは、弱相関カテゴリクラスタごとに「エキスパート」モデルを識別し、最適化された重み付け平均化を用いてそれらを結合する。 提案手法は,複数の領域にまたがる性能とロバスト性の向上を実証する。
  論文  参考訳（メタデータ） (2025-11-17T11:13:34Z)
• One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。 これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-30T06:08:27Z)
• MergeBench: A Benchmark for Merging Domain-Specialized LLMs [25.333088749417414]
  MergeBenchは、スケールでのモデルマージを評価するために設計された評価スイートである。 2Bから9BスケールのLlamaやGemmaファミリなど、最先端のオープンソース言語モデルの上に構築されている。 マルチタスク性能, 忘れられたこと, 実行効率にまたがる8つの代表的なマージ手法を評価した。
  論文  参考訳（メタデータ） (2025-05-16T04:02:55Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
  ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-05T13:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。