論文の概要: SpecFuse: Ensembling Large Language Models via Next-Segment Prediction

• arxiv url: http://arxiv.org/abs/2412.07380v1
• Date: Tue, 10 Dec 2024 10:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:39:15.956157
• Title: SpecFuse: Ensembling Large Language Models via Next-Segment Prediction
• Title（参考訳）: SpecFuse: 次世代予測による大規模言語モデルの構築
• Authors: Bo Lv, Chen Tang, Yanan Zhang, Xin Liu, Yue Yu, Ping Luo,
• Abstract要約: SpecFuseは、LCM間のコラボレーションを通じて次のセグメントを反復的に生成することで、融合結果を出力するアンサンブルフレームワークである。 上位のセグメントは全LLMに放送され、次のラウンドで高品質なセグメントを生成するように促される。 計算資源を保存するため,前回のラウンドで性能が劣るモデルを動的に排除するモデル出口機構を提案する。
• 参考スコア（独自算出の注目度）: 42.28242821924789
• License:
• Abstract: Ensembles of generative large language models (LLMs) can integrate the strengths of different LLMs to compensate for the limitations of individual models. However, recent work has focused on training an additional fusion model to combine complete responses from multiple LLMs, failing to tap into their collaborative potential to generate higher-quality responses. Moreover, as the additional fusion model is trained on a specialized dataset, these methods struggle with generalizing to open-domain queries from online users. In this paper, we propose SpecFuse, a novel ensemble framework that outputs the fused result by iteratively producing the next segment through collaboration among LLMs. This is achieved through cyclic execution of its inference and verification components. In each round, the inference component invokes each base LLM to generate candidate segments in parallel, and the verify component calls these LLMs again to predict the ranking of the segments. The top-ranked segment is then broadcast to all LLMs, encouraging them to generate higher-quality segments in the next round. This approach also allows the base LLMs to be plug-and-play, without any training or adaptation, avoiding generalization limitations. Furthermore, to conserve computational resources, we propose a model exit mechanism that dynamically excludes models exhibiting poor performance in previous rounds during each query response. In this way, it effectively reduces the number of model calls while maintaining overall performance.
• Abstract（参考訳）: 生成的大言語モデル(LLM)の集合は、個々のモデルの制限を補うために異なるLLMの強みを統合することができる。 しかし、最近の研究は、複数のLSMから完全な応答を合成するための追加の融合モデルを訓練することに重点を置いている。 さらに、追加の融合モデルを特別なデータセットでトレーニングすることにより、オンラインユーザからのオープンドメインクエリの一般化に苦慮する。 本稿では,LLM間で協調して次のセグメントを反復的に生成することで,融合結果を出力する新しいアンサンブルフレームワークであるSpecFuseを提案する。 これは推論と検証コンポーネントの循環実行によって達成される。 各ラウンドにおいて、推論コンポーネントは各ベースLSMを呼び出し、並列に候補セグメントを生成し、検証コンポーネントはこれらのLSMを再度呼び出し、セグメントのランキングを予測する。 上位のセグメントは全LLMに放送され、次のラウンドで高品質なセグメントを生成するように促される。 このアプローチはまた、基本的なLLMを訓練や適応なしにプラグアンドプレイでき、一般化の制限を回避できる。 さらに,計算資源の保存を目的としたモデル出口機構を提案する。 このようにして、全体的なパフォーマンスを維持しながら、効果的にモデル呼び出し数を削減します。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なアプリケーションで顕著なパフォーマンスのために広く採用されている。 これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。 本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
  大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。 本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:52:22Z)
• Bridging the Gap between Different Vocabularies for LLM Ensemble [10.669552498083709]
  様々な大言語モデル(LLM)における語彙の相違は、これまでの研究を制約してきた。 語彙アライメント(EVA)を用いたLLMのアンサンブル手法を提案する。 EVAは様々なLLM間の語彙ギャップを橋渡しし、各生成ステップで巧妙にアンサンブルすることができる。
  論文  参考訳（メタデータ） (2024-04-15T06:28:20Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。