論文の概要: M-Ped: Multi-Prompt Ensemble Decoding for Large Language Models

• arxiv url: http://arxiv.org/abs/2412.18299v1
• Date: Tue, 24 Dec 2024 09:06:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:35.726850
• Title: M-Ped: Multi-Prompt Ensemble Decoding for Large Language Models
• Title（参考訳）: M-Ped: 大規模言語モデルのためのマルチプロンプトアンサンブルデコーディング
• Authors: Jiaxin Guo, Daimeng Wei, Yuanchang Luo, Shimin Tao, Hengchao Shang, Zongyao Li, Shaojun Li, Jinlong Yang, Zhanglin Wu, Zhiqiang Rao, Hao Yang,
• Abstract要約: 本稿では,大規模言語モデルの生成品質を高めるために設計された,新しいマルチプロンプトアンサンブルデコーディング手法を提案する。 ユニークな入力である$X$を与えられた場合、確率分布を復号し導出するために、バッチモードで$X$のプロンプトの$n$をLLMに送信する。 各トークン予測に対して,この集約された確率を用いて,バッチ内の$n$確率分布を平均化し,トークンを生成することで,アンサンブル確率を算出する。
• 参考スコア（独自算出の注目度）: 12.96619003056978
• License:
• Abstract: With the widespread application of Large Language Models (LLMs) in the field of Natural Language Processing (NLP), enhancing their performance has become a research hotspot. This paper presents a novel multi-prompt ensemble decoding approach designed to bolster the generation quality of LLMs by leveraging the aggregation of outcomes from multiple prompts. Given a unique input $X$, we submit $n$ variations of prompts with $X$ to LLMs in batch mode to decode and derive probability distributions. For each token prediction, we calculate the ensemble probability by averaging the $n$ probability distributions within the batch, utilizing this aggregated probability to generate the token. This technique is dubbed Inner-Batch Ensemble. To facilitate efficient batch inference, we implement a Left-Padding strategy to maintain uniform input lengths across the n prompts. Through extensive experimentation on diverse NLP tasks, including machine translation, code generation, and text simplification, we demonstrate the efficacy of our method in enhancing LLM performance. The results show substantial improvements in BLEU scores, pass@$k$ rates, and LENS metrics over conventional methods.
• Abstract（参考訳）: 自然言語処理(NLP)分野におけるLarge Language Models(LLMs)の普及に伴い,その性能向上が研究ホットスポットとなっている。 本稿では,複数のプロンプトから得られる結果の集約を利用して,LLMの生成品質を高めるために設計された,新しいマルチプロンプトアンサンブルデコーディング手法を提案する。 ユニークな入力である$X$を与えられた場合、確率分布を復号し導出するために、バッチモードで$X$のプロンプトの$n$をLLMに送信する。 各トークン予測に対して,この集約された確率を用いて,バッチ内の$n$確率分布を平均化し,トークンを生成することにより,アンサンブル確率を算出する。 この技法はインナーバッチ・アンサンブル(Inner-Batch Ensemble)と呼ばれる。 バッチの効率的な推論を容易にするため,nプロンプト全体の入力長を均一に維持する左パディング方式を実装した。 機械翻訳やコード生成,テキストの簡略化など,多種多様なNLPタスクに関する広範な実験を通じて,LLM性能向上のための手法の有効性を実証した。 その結果,従来の方法よりもBLEUスコア,pass@$k$レート,LENSメトリクスが大幅に改善された。

関連論文リスト

• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• PEDAL: Enhancing Greedy Decoding with Large Language Models using Diverse Exemplars [1.450405446885067]
  多様な推論経路を持つ自己認識技術は、大言語モデル(LLM)を用いたテキスト生成において顕著な性能向上を示した。 PEDALは,多種多様な模範的プロンプトの強みとLLMに基づくアグリゲーションを組み合わせて,総合的な性能向上を実現するハイブリッドな自己組織化手法である。
  論文  参考訳（メタデータ） (2024-08-16T17:54:09Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Order-Independence Without Fine Tuning [18.020492646988746]
  本稿では,LLMの出力が指定されたサブシーケンスのセットに順序依存しないことを保証する手法であるSet-Based Promptingを提案する。 我々の入力が分布外であるにもかかわらず、期待される精度への影響は小さく、予測は、一様に選択された応答のシャッフルの順序を超える。
  論文  参考訳（メタデータ） (2024-06-04T16:09:13Z)
• Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
  大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。 本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:52:22Z)
• Bridging the Gap between Different Vocabularies for LLM Ensemble [10.669552498083709]
  様々な大言語モデル(LLM)における語彙の相違は、これまでの研究を制約してきた。 語彙アライメント(EVA)を用いたLLMのアンサンブル手法を提案する。 EVAは様々なLLM間の語彙ギャップを橋渡しし、各生成ステップで巧妙にアンサンブルすることができる。
  論文  参考訳（メタデータ） (2024-04-15T06:28:20Z)
• TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models [69.49978333446538]
  TEALは任意のモダリティからの入力をトークンシーケンスとして扱うアプローチである。 トークンシーケンスを学習可能な埋め込み行列で結合埋め込み空間に埋め込む。 実験により、TEALはマルチモーダル理解を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-11-08T10:34:16Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。