論文の概要: When are likely answers right? On Sequence Probability and Correctness in LLMs
- arxiv url: http://arxiv.org/abs/2606.27359v1
- Date: Thu, 25 Jun 2026 17:58:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.396522
- Title: When are likely answers right? On Sequence Probability and Correctness in LLMs
- Title（参考訳）: いつ答えられるか? LLMにおけるシーケンス確率と正確性について
- Abstract要約: 順序確率、すなわち、プロンプトが与えられた連続の条件付き確率は、実際は正しさと一致しているか?
我々は、この関係をデコード方法、モデル、ベンチマークで4つのレベルで定量化する。
高いシーケンス確率は、固定されたデータセット内のプロンプト・アンサー・ペア間での正確性を予測することがよくある。
- 参考スコア（独自算出の注目度）: 38.14443290666347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many decoding methods for large language models can be understood as shifting probability mass toward outputs that are more likely under the model, either locally at the token level or globally at the sequence level. Therefore, their success depends on a fundamental question: when does sequence probability, that is, the conditional probability of a continuation given a prompt, actually align with correctness? In this paper, we set out to quantify this relationship across decoding methods, models, and benchmarks at four levels: across decoding methods, across hyperparameters within a method, across prompt-answer pairs within a dataset, and across repeated responses to the same prompt. We find that higher sequence probability is often predictive of correctness across prompt-answer pairs within a fixed dataset. However, this relationship does not generally transfer to decoding decisions: increasing sequence probability by changing hyperparameters or methods does not reliably improve accuracy. Further, sequence probability is not a good indicator of correctness for responses to the same prompt. These findings clarify when decoding can and cannot be expected to improve correctness, and provide practical guidance for decoding, self-consistency, and verifier-free self-improvement.
- Abstract（参考訳）: 大規模言語モデルの多くの復号法は、確率質量を、トークンレベルで局所的に、あるいはシーケンスレベルで、モデルの下でより高い確率で出力にシフトさせるものとして理解することができる。
したがって、それらの成功は基本的な問題、すなわち、いつ列の確率、すなわちプロンプトが与えられた連続の条件付き確率が実際に正しさに一致しているかという問題に依存する。
本稿では,この関係を,復号法,モデル,ベンチマークの4つのレベルで定量化し,復号法,メソッド内のハイパーパラメータ,データセット内のプロンプト・アンサー対,同じプロンプトに対する繰り返し応答の4段階にわたって定量化する。
高いシーケンス確率は、固定されたデータセット内のプロンプト・アンサー・ペア間での正確性を予測することがよくある。
しかし、この関係は一般に復号決定に移行しない: ハイパーパラメータやメソッドを変更してシーケンス確率を増加させることは、精度を確実に改善しない。
さらに、シーケンス確率は、同じプロンプトに対する応答の正しさのよい指標ではない。
これらの結果から,復号化が正解性の向上を期待できないこと,復号化,自己整合性,検証自由自己改善の実践的ガイダンスが得られた。
関連論文リスト
- From token probabilities to calibrated confidence: An empirical study of mathematical question answering [1.0032961794537367]
以前の研究によると、トークンの確率は過信されることが多い。
トークン確率を元の世代から再利用するシングルパス推定器とマルチパス推定器を比較した。
完全列上の集合トークン確率は、正しい世代と不正確な世代の間に小さいが一貫した差を捉えている。
論文 参考訳（メタデータ） (2026-08-08T00:00:19Z) - Decoding in Order-Agnostic Language Models: Chain-Rule Deviation and Uniform Spreading [0.6916773850242582]
順序に依存しない言語モデル(OALM)は任意の条件セットの下でマスク付きトークンを予測するために訓練される。
学習条件はコヒーレントな関節分布の正確な分解ではないことを示す。
信頼性トレースの形状に基づく相補的診断を提案する。
論文 参考訳（メタデータ） (2026-05-31T04:25:36Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳（メタデータ） (2025-05-17T04:16:36Z) - DiffSampling: Enhancing Diversity and Accuracy in Neural Text Generation [5.734448042909701]
トークン確率分布の数学的解析を利用する新しい復号法であるDiffSamplingを提案する。
4つの異なるテキスト生成タスクを含む実験により、我々のアプローチは、少なくとも既存の方法と同等に、一貫して機能することを示した。
論文 参考訳（メタデータ） (2025-02-19T19:00:02Z) - Large language model validity via enhanced conformal prediction methods [4.081098869497239]
我々は,大規模言語モデル(LLM)の出力に対する妥当性を保証するための新しい共形推論手法を開発した。
我々は、Gibs et al. (2023) の条件等式手順を一般化し、出力の実用性を維持するために必要なときに、より弱い保証を適応的に発行する。
バイオグラフィーと医学的質問応答データセットに対するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-06-14T04:46:39Z) - Predicting generalization performance with correctness discriminators [56.948321040125734]
未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。
予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
論文 参考訳（メタデータ） (2023-11-15T22:43:42Z) - GRACE: Discriminator-Guided Chain-of-Thought Reasoning [75.35436025709049]
本稿では, 正しい推論手順を導出するために, GRACE (CorrectnEss Discriminator) を用いたチェーン・オブ・シークレット・リAsoningを提案する。
GRACEは、正しいステップと間違ったステップに対して対照的な損失で訓練された判別器を採用しており、復号時に次のステップ候補を採点するために使用される。
論文 参考訳（メタデータ） (2023-05-24T09:16:51Z) - Performance-guaranteed regularization in maximum likelihood method:
Gauge symmetry in Kullback -- Leibler divergence [0.0]
正規化は誤り訂正符号と似ており、最適解と不正に受信された符号を混合することにより最適な復号化が得られる。
そこで本稿では,Kulbackのゲージ対称性に着目し,最大極大法における正規化を理論的に保証する手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T14:17:21Z) - Calibrating AI Models for Wireless Communications via Conformal
Prediction [55.47458839587949]
コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。
本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
論文 参考訳（メタデータ） (2022-12-15T12:52:23Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z) - Knowing what you know: valid and validated confidence sets in multiclass
and multilabel prediction [0.8594140167290097]
マルチクラスおよびマルチラベル問題において、有効な信頼セットを構築するための共形予測手法を開発する。
量子レグレッションのアイデアを活用することで、常に正しいカバレッジを保証すると同時に、マルチクラスとマルチラベルの予測問題に対して条件付きカバレッジを提供する手法を構築する。
論文 参考訳（メタデータ） (2020-04-21T17:45:38Z) - Optimal Change-Point Detection with Training Sequences in the Large and
Moderate Deviations Regimes [72.68201611113673]
本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。
基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
論文 参考訳（メタデータ） (2020-03-13T23:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。