論文の概要: Forking Fast: Efficiently Estimating Uncertainty Dynamics in Text Generation

• arxiv url: http://arxiv.org/abs/2608.19611v1
• Date: Thu, 20 Aug 2026 03:52:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.448959
• Title: Forking Fast: Efficiently Estimating Uncertainty Dynamics in Text Generation
• Title（参考訳）: 高速なフォーク:テキスト生成における不確かさのダイナミクスを効果的に推定する
• Abstract要約: 多くの推論連鎖を再サンプリングする場合、不確実性ダイナミクスは安定したパターンに収束し、ノイズは個々のトークンや推論ステップに対するLCMの感度よりもサンプリングの成果物であることが示される。 ノイズの多い低サンプルロールアウトデータをスムースにするための統計モデルを構築し,高サンプルデータをよりよく近似し,サンプリングコストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 23.639100476714848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM reasoning is stochastic, and so understanding a model requires grappling with the distribution of reasoning chains that it might produce for a given question, i.e., its uncertainty. Resampling-based analyses characterize this distribution, revealing which steps of a rollout determine how the model arrives at its answer. However, a major limitation of these approaches is that resampling text sequences at every token or sentence in a reasoning chain is very costly. Our work strives to make resampling analysis more computationally efficient, while also shedding light on an important scientific question: what is the right statistical model for explaining uncertainty dynamics in text generation? We show that when resampling many reasoning chains, uncertainty dynamics converge to stable patterns, and noise is largely an artifact of sampling rather than an LLM's sensitivity to each individual token or reasoning step. We develop a statistical model for smoothing noisy low-sample rollout data to better approximate high-sample data, allowing us to significantly cut sampling costs.
• Abstract（参考訳）: LLM推論は確率的であり、モデルを理解するには、与えられた問題、すなわちその不確実性のために生成されるかもしれない推論鎖の分布に不満を抱く必要がある。 サンプルベースの分析では、この分布を特徴付け、ロールアウトのどのステップが、モデルがどのように回答に到達するかを決定するかを明らかにする。 しかし、これらのアプローチの大きな制限は、推論チェーンにおけるすべてのトークンや文でテキストシーケンスを再サンプリングすることは非常にコストがかかることである。 我々の研究は、再サンプリング分析をより効率的にし、重要な科学的疑問に光を当てようとしている。テキスト生成における不確実性力学を説明するための適切な統計モデルは何ですか? 多くの推論連鎖を再サンプリングする場合、不確実性ダイナミクスは安定したパターンに収束し、ノイズは個々のトークンや推論ステップに対するLCMの感度よりもサンプリングの成果物であることが示される。 ノイズの多い低サンプルロールアウトデータをスムースにするための統計モデルを構築し,高サンプルデータをよりよく近似し,サンプリングコストを大幅に削減する。

関連論文リスト

• Scaling LLM Reasoning from Minimal Labels: A Semi-Supervised Framework with a Lightweight Verifier [21.154049003675897]
  本稿では、最小限の監督から推論学習をスケールする半教師付きフレームワークを提案する。 エントロピーに基づく信頼しきい値が信頼できないサンプルをフィルタリングし、残りの高信頼推論トレースを用いてモデルを微調整する。 Visual Programming を用いた検証可能な数学問題 (Orca-Math サブセット) とイメージシーングラフ (GQA) に対する質問応答実験により,提案手法が10～15倍のラベル付きデータに匹敵する精度を実現することが示された。
  論文  参考訳（メタデータ） (2026-06-15T14:55:18Z)
• Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models [44.59799077650502]
  本研究では,大規模言語モデルにおける不確実性定量化のための簡易かつ効果的な自己評価手法を提案する。 提案手法は,世代を意味的に異なるクラスタに分類し,構造化された複数選択質問の回答オプションに変換し,モデルによって割り当てられた確率を信頼度推定として利用する。
  論文  参考訳（メタデータ） (2026-06-02T16:25:54Z)
• Uncertainty Quantification for Large Language Diffusion Models [35.87984313223733]
  自己回帰モデルに代わるものとして,大規模言語拡散モデル (LLDM) が登場している。 既存の不確実量化(UQ)手法は自己回帰因子化を前提とするか、高価な繰り返しサンプリングを使用する。 LLDMのUQに関する最初の体系的研究を行い、軽量ゼロショット不確実性信号を提案する。
  論文  参考訳（メタデータ） (2026-05-14T08:39:56Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• Learning to Reason in LLMs by Expectation Maximization [55.721496945401846]
  我々は推論を潜在変数モデルとして定式化し、推論を学ぶための期待最大化目標を導出する。 この見解はEMと現代の報酬に基づく最適化を結びつけるものであり、正しい答えを正当化する有理性を生成するサンプリング分布を設計することの主な課題であることを示している。
  論文  参考訳（メタデータ） (2025-12-23T08:56:49Z)
• Diffusion-Driven High-Dimensional Variable Selection [6.993247097440294]
  本稿では,高忠実度合成データを生成する拡散モデルの能力を生かした再サンプル集約フレームワークを提案する。 提案手法は軽微な仮定の下で一貫した選択であることを示す。 本手法は,変数選択手法を改良し,統計的に厳密な解析を行うためのツールキットを拡充する。
  論文  参考訳（メタデータ） (2025-08-19T14:54:20Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
  我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。 アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。 本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2022-05-27T17:28:54Z)
• Deep Active Learning with Noise Stability [24.54974925491753]
  ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。 本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
  論文  参考訳（メタデータ） (2022-05-26T13:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。