Fugu-MT 論文翻訳(概要): Fusing LLM Capabilities with Routing Data

論文の概要: Fusing LLM Capabilities with Routing Data

arxiv url: http://arxiv.org/abs/2507.10540v1
Date: Mon, 14 Jul 2025 17:58:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:25.663784
Title: Fusing LLM Capabilities with Routing Data
Title（参考訳）: ルーティングデータを用いたLLM機能融合
Authors: Tao Feng, Haozhen Zhang, Zijie Lei, Pengrui Han, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Jiaxuan You,
Abstract要約: FusionFactoryは、クエリレベルのフュージョン、思考レベルのフュージョン、モデルレベルのフュージョンの3つのレベルを持つ、系統的なフュージョンフレームワークである。実験の結果、FusionFactoryは14のベンチマークで最高のLCMを上回っている。
参考スコア（独自算出の注目度）: 34.769509452692226
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The rapid advancement of large language models (LLMs) has created a vibrant ecosystem of diverse architectures, each with unique strengths due to differences in design, training data, and objectives. However, most applications still rely on a single backend model, limiting coverage of capabilities and leading to inefficiencies in performance and token cost when tackling complex tasks. We highlight an underexploited opportunity: LLM routing data, produced when hosting platforms route diverse queries to different models, which can reveal comparative strengths across tasks. To address this, we propose FusionBench, a comprehensive routing benchmark covering 14 tasks across five domains with 20 open-source LLMs (8B to 671B parameters), capturing 103M tokens and summarizing reusable thought templates from top models. Building on this, we introduce FusionFactory, a systematic fusion framework with three levels: (1) query-level fusion, tailoring routers for each query using both direct responses and reasoning-augmented outputs; (2) thought-level fusion, leveraging abstract templates derived from top-performing LLMs' answers to similar queries; and (3) model-level fusion, transferring capabilities between models via distillation, using top responses or highest judge scores as training data. Experiments show FusionFactory consistently outperforms the best individual LLM across all 14 benchmarks, with optimal fusion configurations varying by benchmark, demonstrating the value of systematic LLM fusion in harnessing complementary strengths and improving overall performance.
Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、様々なアーキテクチャの活気あるエコシステムを生み出している。しかしながら、ほとんどのアプリケーションは依然として単一のバックエンドモデルに依存しており、機能カバレッジを制限し、複雑なタスクに対処する際のパフォーマンスとトークンコストの非効率につながる。 LLMルーティングデータは、ホストプラットフォームがさまざまなクエリをさまざまなモデルにルーティングする際に生成されるもので、タスク間の比較強度を明らかにすることができる。この問題を解決するためにFusionBenchを提案する。このベンチマークは、20個のオープンソースLCM(8Bから671Bパラメータ)を持つ5つのドメインにまたがる14のタスクを網羅し、103Mトークンをキャプチャし、トップモデルから再利用可能な思考テンプレートを要約する。そこで我々は,(1)クエリレベルの融合,(2)直接応答と推論拡張出力の両方を用いた各クエリのためのルータの調整,(2)LLMの回答を類似したクエリに変換した抽象テンプレートを利用した思考レベルの融合,(3)モデルレベルの融合,蒸留によるモデル間の転送機能,など,3段階の融合フレームワークを構築した。実験の結果、FusionFactoryは14のベンチマークで最高のLLMを常に上回り、ベンチマークによって異なる最適な核融合構成を示し、相補的な強度を活用し、全体的な性能を向上させるための体系的なLLM融合の価値を実証した。

関連論文リスト

QUPID: Quantified Understanding for Enhanced Performance, Insights, and Decisions in Korean Search Engines [4.94507535566914]
異なるアーキテクチャで2つの異なる小言語モデル(SLM)を組み合わせることで、関連性評価において大きな言語モデル(LLM)より優れていることを示す。我々のアプローチ - QUPID -- は、生成SLMと埋め込みSLMを統合し、高い関連性判定精度を実現する。
論文参考訳（メタデータ） (2025-05-12T08:35:09Z)
Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文参考訳（メタデータ） (2025-01-08T11:37:06Z)
Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
論文参考訳（メタデータ） (2024-11-21T02:30:53Z)
NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
論文参考訳（メタデータ） (2024-09-17T17:59:06Z)
TensorOpera Router: A Multi-Model Router for Efficient LLM Inference [27.2803289964386]
TO-lemmaはモノリシックなLLMクエリシステムである。様々なLLM専門家をシームレスに単一のクエリインターフェースに統合する。クエリの要求に基づいて、入力クエリを最も高性能な専門家に動的にルーティングする。
論文参考訳（メタデータ） (2024-08-22T11:57:07Z)
Pack of LLMs: Model Fusion at Test-Time via Perplexity Optimization [18.73637736606997]
Pack of LLMs (PackLLM) は、入力プロンプトが与えられた場合、各LSMの専門知識を活用するテスト時間融合の有効な方法である。我々は,多種多様なタスクに対して,100以上の大規模言語モデル(LLM)を用いて実験を行う。 PackLLMは、テスト時間融合ベースラインを1.89%精度で上回る。
論文参考訳（メタデータ） (2024-04-17T16:24:07Z)
Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文参考訳（メタデータ） (2024-01-19T05:02:46Z)
Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models [69.51130760097818]
本研究では,報奨誘導型ルーティング手法であるZooterを提案する。さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
論文参考訳（メタデータ） (2023-11-15T04:40:43Z)
FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文参考訳（メタデータ） (2023-09-01T09:40:36Z)
MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文参考訳（メタデータ） (2023-08-25T01:41:04Z)
Generative Multimodal Entity Linking [24.322540112710918]
MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
論文参考訳（メタデータ） (2023-06-22T07:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。