論文の概要: Semantic uncertainty in advanced decoding methods for LLM generation

• arxiv url: http://arxiv.org/abs/2506.17296v1
• Date: Tue, 17 Jun 2025 10:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.319828
• Title: Semantic uncertainty in advanced decoding methods for LLM generation
• Title（参考訳）: LLM生成のための高度復号法における意味的不確実性
• Authors: Darius Foodeei, Simin Fan, Martin Jaggi,
• Abstract要約: 本研究では,大規模言語モデル(LLM)における意味的不確実性について検討した。 モデル出力の多様性と信頼性の両方に異なる復号戦略がどう影響するかを分析する。
• 参考スコア（独自算出の注目度）: 35.31962554915952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study investigates semantic uncertainty in large language model (LLM) outputs across different decoding methods, focusing on emerging techniques like speculative sampling and chain-of-thought (CoT) decoding. Through experiments on question answering, summarization, and code generation tasks, we analyze how different decoding strategies affect both the diversity and reliability of model outputs. Our findings reveal that while CoT decoding demonstrates higher semantic diversity, it maintains lower predictive entropy, suggesting that structured exploration can lead to more confident and accurate outputs. This is evidenced by a 48.8% improvement in code generation Pass@2 rates, despite lower alignment with reference solutions. For summarization tasks, speculative sampling proved particularly effective, achieving superior ROUGE scores while maintaining moderate semantic diversity. Our results challenge conventional assumptions about trade-offs between diversity and accuracy in language model outputs, demonstrating that properly structured decoding methods can increase semantic exploration while maintaining or improving output quality. These findings have significant implications for deploying language models in practical applications where both reliability and diverse solution generation are crucial.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)出力における意味的不確実性について検討し,投機的サンプリングやチェーン・オブ・シークレット(CoT)復号化といった新しい手法に着目した。 質問応答、要約、コード生成タスクの実験を通じて、モデル出力の多様性と信頼性の両方に異なる復号戦略がどう影響するかを分析する。 以上の結果から,CoTの復号化は高い意味多様性を示すが,予測エントロピーは低く,構造的探索がより信頼性と正確なアウトプットにつながることが示唆された。 これは、参照ソリューションとのアライメントが低いにもかかわらず、コード生成のPass@2レートが48.8%改善していることが証明されている。 要約タスクでは、投機的サンプリングが特に有効であり、適度なセマンティック多様性を維持しつつ、優れたROUGEスコアを達成できた。 本研究は,言語モデル出力における多様性と精度のトレードオフに関する従来の仮定に挑戦し,適切に構造化された復号法が,出力品質を維持したり改善したりしながら意味探索を向上させることを実証した。 これらの知見は、信頼性と多様なソリューション生成が不可欠である実用的なアプリケーションに言語モデルをデプロイする上で重要な意味を持つ。

関連論文リスト

• Diversity Explains Inference Scaling Laws: Through a Case Study of Minimum Bayes Risk Decoding [32.02732402635305]
  推論手法は大規模言語モデル(LLM)の性能を引き出す上で重要な役割を果たす 現在、LLMは生成した複数のサンプルを利用した推論手法を使用しており、最小ベイズリスク(MBR)復号から導出することができる。 従来,MBR復号化による生成性能の向上を実証的に検討してきた。 我々は、バイアス-多様性分解の観点から、MBR復号の新たな理論的解釈を提供する。
  論文  参考訳（メタデータ） (2024-10-19T07:32:10Z)
• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号ステップにおける多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法のキャパシティを推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning [50.84938730450622]
  数理推論におけるOOD検出にトラジェクトリボラティリティを用いたトラジェクトリベースのTVスコアを提案する。 本手法は, 数学的推論シナリオ下でのGLM上での従来のアルゴリズムよりも優れる。 提案手法は,複数選択質問などの出力空間における高密度特徴を持つアプリケーションに拡張することができる。
  論文  参考訳（メタデータ） (2024-05-22T22:22:25Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Uncertainty Awareness of Large Language Models Under Code Distribution Shifts: A Benchmark Study [14.507068647009602]
  大規模言語モデル(LLM)は、人間の生産性を高めるために、プログラム言語分析に広く用いられている。 その信頼性は、さまざまなコード分散シフトによって損なわれ、一貫性のない出力につながる。 確率法は不確実性キャリブレーションと推定によってそのような影響を軽減することが知られている。
  論文  参考訳（メタデータ） (2024-01-12T00:00:32Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。