論文の概要: Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation

• arxiv url: http://arxiv.org/abs/2505.23844v1
• Date: Wed, 28 May 2025 16:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.56209
• Title: Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation
• Title（参考訳）: スケーラブルな知識集約のためのフレキシブルなマルチLLM統合の実現
• Authors: Zhenglun Kong, Zheng Zhan, Shiyue Hou, Yifan Gong, Xin Meng, Pengwei Sui, Peiyan Dong, Xuan Shen, Zifeng Wang, Pu Zhao, Hao Tang, Stratis Ioannidis, Yanzhi Wang,
• Abstract要約: 大規模言語モデル(LLM)は目覚ましい将来性を示しているが、従来の微調整によって継続的に改善することは困難である。 本稿では,多種多様なLCMから知識を適応的に選択・集約し,単一のより強力なモデルを構築するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 45.72492804683268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown remarkable promise but remain challenging to continually improve through traditional finetuning, particularly when integrating capabilities from other specialized LLMs. Popular methods like ensemble and weight merging require substantial memory and struggle to adapt to changing data environments. Recent efforts have transferred knowledge from multiple LLMs into a single target model; however, they suffer from interference and degraded performance among tasks, largely due to limited flexibility in candidate selection and training pipelines. To address these issues, we propose a framework that adaptively selects and aggregates knowledge from diverse LLMs to build a single, stronger model, avoiding the high memory overhead of ensemble and inflexible weight merging. Specifically, we design an adaptive selection network that identifies the most relevant source LLMs based on their scores, thereby reducing knowledge interference. We further propose a dynamic weighted fusion strategy that accounts for the inherent strengths of candidate LLMs, along with a feedback-driven loss function that prevents the selector from converging on a single subset of sources. Experimental results demonstrate that our method can enable a more stable and scalable knowledge aggregation process while reducing knowledge interference by up to 50% compared to existing approaches. Code is avaliable at https://github.com/ZLKong/LLM_Integration
• Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい将来性を示しているが、特に他の特殊なLLMの機能を統合する際には、従来の微調整を通じて継続的に改善することが困難である。 アンサンブルや重み付けのような一般的な方法は、かなりのメモリを必要とし、変化するデータ環境に適応するのに苦労する。 近年の取り組みは、複数のLLMから単一のターゲットモデルに知識を移行しているが、主に候補選択とトレーニングパイプラインの柔軟性の制限により、タスク間の干渉や性能低下に悩まされている。 これらの問題に対処するために,多種多様なLCMから知識を適応的に選択・集約し,単一の強力なモデルを構築するフレームワークを提案する。 具体的には、スコアに基づいて最も関連性の高いLLMを識別し、知識干渉を減らす適応選択ネットワークを設計する。 さらに,候補LLMの固有強度を考慮に入れた動的重み付き融合戦略と,セレクタがソースの1つのサブセットに収束するのを防ぐフィードバック駆動型損失関数を提案する。 実験により,従来の手法と比較して,知識干渉を最大50%低減しつつ,より安定かつスケーラブルな知識集約プロセスを実現できることが示された。 Code is avaliable at https://github.com/ZLKong/LLM_Integration

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
  MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。 既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。 大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
  論文  参考訳（メタデータ） (2024-07-23T03:58:08Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Generative Multimodal Entity Linking [24.322540112710918]
  MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。 既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。 大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。 当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
  論文  参考訳（メタデータ） (2023-06-22T07:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。