論文の概要: Enabling Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration

• arxiv url: http://arxiv.org/abs/2404.12715v1
• Date: Fri, 19 Apr 2024 08:52:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 15:45:58.765047
• Title: Enabling Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration
• Title（参考訳）: 深層並列協調による異種大言語モデルのアンサンブル学習
• Authors: Yichong Huang, Xiaocheng Feng, Baohang Li, Yang Xiang, Hui Wang, Bing Qin, Ting Liu,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクやインスタンスにおいて相補的な強みを示している。 既存の手法は、訓練されたモデルの一般化可能性に大きな課題をもたらす。 異なるLLMが出力する確率を平均化するトレーニングフリーアンサンブルフレームワークDEEPENを提案する。
• 参考スコア（独自算出の注目度）: 39.35476224845088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown complementary strengths in various tasks and instances, motivating the research of ensembling LLMs to push the frontier leveraging the wisdom of the crowd. Existing work achieves this objective via training the extra reward model or fusion model to select or fuse all candidate answers. However, these methods pose a great challenge to the generalizability of the trained models. Besides, existing methods use the textual responses as communication media, ignoring the rich information in the inner representations of neural networks. Therefore, we propose a training-free ensemble framework DEEPEN, averaging the probability distributions outputted by different LLMs. A key challenge in this paradigm is the vocabulary discrepancy between heterogeneous LLMs, which hinders the operation of probability distribution averaging. To address this challenge, DEEPEN maps the probability distribution of each model from the probability space to a universe relative space based on the relative representation theory, and performs aggregation. Then, the result of aggregation is mapped back to the probability space of one LLM via a search-based inverse transformation to determine the generated token. We conduct experiments on the ensemble of various LLMs of 6B to 70B. Experimental results show that DEEPEN achieves consistent improvements across six popular benchmarks involving subject examination, reasoning and knowledge-QA, proving the effectiveness of our approach.
• Abstract（参考訳）: 大規模言語モデル (LLM) は様々なタスクや事例において相補的な強みを示しており、聴衆の知恵を活かしてフロンティアを前進させるLLMの研究を動機付けている。 既存の作業はこの目的を達成するために、追加の報酬モデルや融合モデルをトレーニングし、すべての候補の答えを選択したり、融合させたりします。 しかし、これらの手法は、訓練されたモデルの一般化可能性に大きな課題をもたらす。 さらに、既存の手法では、ニューラルネットワークの内部表現の豊富な情報を無視して、テキスト応答を通信媒体として使用する。 そこで本研究では,異なるLLMが出力する確率分布を平均化する学習自由アンサンブルフレームワークDEEPENを提案する。 このパラダイムの重要な課題は、確率分布平均化の動作を妨げる不均一なLLM間の語彙差である。 この課題に対処するため、DEEPENは相対表現理論に基づいて各モデルの確率分布を確率空間から宇宙相対空間にマッピングし、アグリゲーションを実行する。 そして、アグリゲーションの結果を検索ベースの逆変換によって1つのLCMの確率空間にマッピングし、生成されたトークンを決定する。 6Bから70Bの様々なLDMのアンサンブルについて実験を行った。 実験の結果,DEPENは主観的評価,推論,知識QAを含む6つの一般的なベンチマークで一貫した改善を実現し,本手法の有効性を実証した。

関連論文リスト

• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 我々の研究は、既存のLCMスケーリングテクニック、特に選択的マージと混合のバリエーションのベンチマークから始まります。 我々の手法は、マージ可能なモデルのクラスタリングと最適なマージ戦略選択、モデルミックスによるクラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Bridging the Gap between Different Vocabularies for LLM Ensemble [10.669552498083709]
  様々な大言語モデル(LLM)における語彙の相違は、これまでの研究を制約してきた。 語彙アライメント(EVA)を用いたLLMのアンサンブル手法を提案する。 EVAは様々なLLM間の語彙ギャップを橋渡しし、各生成ステップで巧妙にアンサンブルすることができる。
  論文  参考訳（メタデータ） (2024-04-15T06:28:20Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Large Language Model (LLM) Bias Index -- LLMBI [0.0]
  LLMBI(Large Language Model Bias Index)は、大規模言語モデル(LLM)に固有のバイアスを定量化し、対処するための先駆的なアプローチである。 年齢,性別,人種的偏見に限らず,多次元の偏見を取り入れた複合スコアリングシステムを用いたLLMBIの定式化を行った。 OpenAIのAPIからの応答を用いた実証分析では,バイアス検出の代表的な方法として,高度な感情分析を採用している。
  論文  参考訳（メタデータ） (2023-12-22T15:38:13Z)
• Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models [69.51130760097818]
  本研究では,報奨誘導型ルーティング手法であるZooterを提案する。 さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
  論文  参考訳（メタデータ） (2023-11-15T04:40:43Z)
• ThinkSum: Probabilistic reasoning over sets using large language models [18.123895485602244]
  本稿では,2段階の確率的推論パラダイムであるThinkSumを提案する。 我々は,LLM評価タスクのBIGベンチスイートにおけるThinkSumの可能性とメリットを実証する。
  論文  参考訳（メタデータ） (2022-10-04T00:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。