論文の概要: Decoding Uncertainty: The Impact of Decoding Strategies for Uncertainty Estimation in Large Language Models

• arxiv url: http://arxiv.org/abs/2509.16696v1
• Date: Sat, 20 Sep 2025 13:48:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.931399
• Title: Decoding Uncertainty: The Impact of Decoding Strategies for Uncertainty Estimation in Large Language Models
• Title（参考訳）: デコード不確かさ:大規模言語モデルにおける不確かさ推定のためのデコード戦略の影響
• Authors: Wataru Hashimoto, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: 大規模言語モデル(LLM)における復号化戦略が不確実性推定に与える影響について検討する。 実験の結果,反復を緩和するContrastive Searchは,所望のLLMに対して,平均不確かさを推定できることがわかった。
• 参考スコア（独自算出の注目度）: 58.198220611190884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding strategies manipulate the probability distribution underlying the output of a language model and can therefore affect both generation quality and its uncertainty. In this study, we investigate the impact of decoding strategies on uncertainty estimation in Large Language Models (LLMs). Our experiments show that Contrastive Search, which mitigates repetition, yields better uncertainty estimates on average across a range of preference-aligned LLMs. In contrast, the benefits of these strategies sometimes diverge when the model is only post-trained with supervised fine-tuning, i.e. without explicit alignment.
• Abstract（参考訳）: 復号化戦略は、言語モデルの出力の根底にある確率分布を制御し、生成品質と不確実性の両方に影響を与える。 本研究では,大規模言語モデル(LLM)における復号化戦略が不確実性評価に与える影響について検討する。 実験の結果,反復を緩和するContrastive Searchは,所望のLLMに対して,平均不確かさを推定できることがわかった。 対照的に、これらの戦略の利点は、モデルが監督された微調整(すなわち明示的なアライメントを持たない)で後からのみ訓練されたときに、しばしば分岐する。

関連論文リスト

• TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning [27.449948943467163]
  大きな言語モデル(LLM)は印象的な能力を示しているが、その出力品質は相容れないままである。 token-level Uncertainty Estimation framework for Reasoning (TokUR)を提案する。 我々の手法は、既存の不確実性推定方法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-05-16T22:47:32Z)
• Uncertainty Profiles for LLMs: Uncertainty Source Decomposition and Adaptive Model-Metric Selection [4.151658495779136]
  大型言語モデル(LLM)は、幻覚として知られる事実的に誤った出力を生成することが多い。 本研究では,不確実性を4つの異なるソースに分解するための系統的枠組みを提案する。 本稿では,その不確実性特性と与えられたタスクのアライメントやばらつきによって導かれるタスク固有距離/モデル選択法を提案する。
  論文  参考訳（メタデータ） (2025-05-12T07:55:22Z)
• Uncertainty-Aware Decoding with Minimum Bayes Risk [70.6645260214115]
  予測されたリスクに応じてモデル生成を選択する最小ベイズリスク復号法を,原理化された不確実性認識復号法に一般化する方法を示す。 この修正された予測リスクは、出力の選択と生成をいつ中止するかの判断の両方に有用であり、オーバーヘッドを発生させることなく改善を提供できることを示す。
  論文  参考訳（メタデータ） (2025-03-07T10:55:12Z)
• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 自然言語生成からコード生成領域への2つの最先端技術を適用する。 これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• Post-hoc Probabilistic Vision-Language Models [51.12284891724463]
  視覚言語モデル(VLM)は、分類、検索、生成タスクにおいて顕著な成功を収めている。 追加トレーニングを必要としないVLMにおけるポストホック不確実性評価を提案する。 この結果から,大規模モデルの安全性クリティカルな応用が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-12-08T18:16:13Z)
• Uncertainty Awareness of Large Language Models Under Code Distribution Shifts: A Benchmark Study [14.507068647009602]
  大規模言語モデル(LLM)は、人間の生産性を高めるために、プログラム言語分析に広く用いられている。 その信頼性は、さまざまなコード分散シフトによって損なわれ、一貫性のない出力につながる。 確率法は不確実性キャリブレーションと推定によってそのような影響を軽減することが知られている。
  論文  参考訳（メタデータ） (2024-01-12T00:00:32Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。