論文の概要: Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2408.13586v2
• Date: Wed, 08 Jan 2025 02:09:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:54:15.199893
• Title: Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation
• Title（参考訳）: LLMサンプリングにおける多様性とリスクのバランス:オープンエンディングテキスト生成のための方法とパラメータの選択方法
• Authors: Yuxuan Zhou, Margret Keuper, Mario Fritz,
• Abstract要約: 本稿では,各復号ステップにおける多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法のキャパシティを推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。
• 参考スコア（独自算出の注目度）: 60.493180081319785
• License:
• Abstract: Sampling-based decoding strategies have been widely adopted for Large Language Models (LLMs) in numerous applications, targeting a balance between diversity and quality via temperature tuning and tail truncation. Considering the strong dependency of the candidate next tokens on different prefixes, recent studies propose to adaptively truncate the tail of LLMs' predicted distribution. Although improved results have been reported with these methods on open-ended text generation tasks, the results are highly dependent on the curated parameters and the limited exemplar text. In this paper, we propose a systematic way to estimate the capacity of a truncation sampling method by considering the trade-off between diversity and risk at each decoding step, based on our collected prefix tree which preserves the context of a full sentence. Our work offers a comprehensive comparison of existing truncation sampling methods and serves as a practical user guideline for their parameter selection.
• Abstract（参考訳）: サンプルベースのデコーディング戦略は大規模言語モデル(LLM)に広く採用されており、温度調整とテールトランケーションによる多様性と品質のバランスを目標としている。 異なる接頭辞に対する次の候補トークンの強い依存を考えると、近年の研究ではLLMの予測分布の尾を適応的に切り離すことが提案されている。 オープンエンドテキスト生成タスクにおいて,これらの手法により改善された結果が報告されているが,その結果はキュレートされたパラメータと限定された例文に大きく依存している。 本稿では,全文の文脈を保存した収集プレフィックスツリーに基づいて,各デコードステップにおける多様性とリスクのトレードオフを考慮し,トランケーションサンプリング手法のキャパシティを推定する手法を提案する。 本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。

関連論文リスト

• FR-Spec: Accelerating Large-Vocabulary Language Models via Frequency-Ranked Speculative Sampling [59.8051705468084]
  投機的サンプリングは,大規模言語モデルの自己回帰生成プロセスを促進する重要な手法として登場した。 本稿では、語彙空間圧縮によるドラフト候補選択を最適化する周波数ランクの投機的サンプリングフレームワークFR-Specを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:58:10Z)
• Diversified Sampling Improves Scaling LLM inference [31.18762591875725]
  DivSamplingは、候補解の多様性を高めるために設計された、斬新で多用途なサンプリング技術である。 理論解析により, 微妙な仮定の下では, 種々のプロンプトから発生する応答の誤り率は, 定常プロンプトによる応答よりも有意に低いことが示された。
  論文  参考訳（メタデータ） (2025-02-16T07:37:58Z)
• PEDAL: Enhancing Greedy Decoding with Large Language Models using Diverse Exemplars [1.450405446885067]
  多様な推論経路を持つ自己認識技術は、大言語モデル(LLM)を用いたテキスト生成において顕著な性能向上を示した。 PEDALは,多種多様な模範的プロンプトの強みとLLMに基づくアグリゲーションを組み合わせて,総合的な性能向上を実現するハイブリッドな自己組織化手法である。
  論文  参考訳（メタデータ） (2024-08-16T17:54:09Z)
• Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs [4.122612309805664]
  大規模言語モデル(LLM)は、各復号ステップにおける語彙上の確率分布から次のトークンをサンプリングしてテキストを生成する。 トップトークンの確率に応じてスケールすることでモデルの信頼度に基づいてサンプリングしきい値を調整する動的トランケーション法である min-p サンプリングを提案する。 我々はGPQA、GSM8K、AlpacaEval Creative Writingなどのベンチマーク実験を行い、min-pサンプリングが生成したテキストの品質と多様性を特に高温で改善することを示した。
  論文  参考訳（メタデータ） (2024-07-01T08:37:25Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• Bilevel Scheduled Sampling for Dialogue Generation [6.89978591161039]
  文レベル情報を考慮し、単語レベルの品質を組み込んだバイレベルスケジュールサンプリングモデルを提案する。 DailyDialog と PersonaChat のデータセットを用いて実験を行い,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-09-05T05:05:06Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。