論文の概要: Autoregressive Decoding as a Martingale: Characterizing the Stochastic Dynamics of LLM Generation
- arxiv url: http://arxiv.org/abs/2610.16041v1
- Date: Mon, 12 Oct 2026 01:31:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.286813
- Title: Autoregressive Decoding as a Martingale: Characterizing the Stochastic Dynamics of LLM Generation
- Title（参考訳）: Martingaleとしての自己回帰復号:LLM生成の確率ダイナミクスを特徴付ける
- Abstract要約: 大規模言語モデル(LLM)は、幅広い言語タスクで顕著な成功を収めた。
本稿では,厳密な確率論的観点から自己回帰復号の力学について考察する。
自己回帰復号におけるシーケンス変動と予測不確かさとの直接的理論的関係を同定する。
- 参考スコア（独自算出の注目度）: 13.163523279717358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have achieved remarkable success across a wide range of language tasks. At their core, autoregressive LLMs are conditional probability models that learn to approximate the next-token distribution given the preceding context. Despite this probabilistic nature, the stochastic dynamics of autoregressive decoding have rarely been investigated from a rigorous probabilistic perspective. In this work, we define the per-step prediction error as the difference between the sampled token indicator and the model's conditional predictive distribution, and prove that the cumulative error process is a martingale with respect to the decoding filtration, implying that its conditional first-order moment is identically zero. Beyond this first-order property, we derive a closed-form expression for the second-order behavior of the martingale sequence: its predictable quadratic variation reduces to $\sum_t\left(1-p(y_t\mid y_{<t})\right)$, computable from realized token probabilities alone. This identity establishes a direct theoretical connection between sequence fluctuations and predictive uncertainty during autoregressive decoding. White-box experiments on Llama-3.x and Qwen2.5 families (1B to 72B parameters) verify that the empirically measured second-order moments closely match the theoretical predictions derived from our martingale analysis. These results provide a probabilistic framework for analyzing autoregressive LLM decoding, reveal intrinsic probabilistic fingerprints of different language models, and establish a rigorous mathematical foundation for LLM-generated text detection and uncertainty quantification.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い言語タスクで顕著な成功を収めた。
自己回帰 LLM は条件付き確率モデルであり、先行する文脈から次トーケン分布を近似することを学習する。
このような確率的性質にもかかわらず、自己回帰的復号の確率力学は厳密な確率論的観点からはほとんど研究されていない。
本研究では,各ステップごとの予測誤差をサンプルトークン指標とモデルの条件予測分布の差として定義し,累積誤差過程がデコードフィルタに対するマーチンゲールであることを証明し,条件付き1次モーメントがほぼゼロであることを示唆する。
予測可能な二次変動は$\sum_t\left(1-p(y_t\mid y_{<t})\right)$に減少する。
このアイデンティティは、自己回帰復号時のシーケンス変動と予測の不確実性の間の直接的な理論的関係を確立する。
Llama-3.x と Qwen2.5 ファミリー (1B から 72B のパラメータ) のホワイトボックス実験では、経験的に測定された2次モーメントがマルティンゲール解析から得られた理論的予測と密接に一致していることが確認された。
これらの結果は,自己回帰的LLM復号法を解析し,異なる言語モデルの固有確率的指紋を明らかにし,LLM生成したテキストの検出と不確実性の定量化のための厳密な数学的基盤を確立するための確率的枠組みを提供する。
関連論文リスト
- The Probabilistic Structure of Large Language Models [0.0]
本稿では,大規模言語モデル(LLM)の確率論的視点を示す。
The role of the Kullback-Leibler divergence in text generation was examined with characteristic phenomena such as hallucination。
また,トークンスコア関数を中心に構築された拡散モデルについても論じる。これは連続的な予測ではなく,離散時間と連続時間の両方でノイズをデータに変換する逆時間プロセスのシミュレーションである。
論文 参考訳（メタデータ） (2026-09-20T21:53:57Z) - Decoding in Order-Agnostic Language Models: Chain-Rule Deviation and Uniform Spreading [0.6916773850242582]
順序に依存しない言語モデル(OALM)は任意の条件セットの下でマスク付きトークンを予測するために訓練される。
学習条件はコヒーレントな関節分布の正確な分解ではないことを示す。
信頼性トレースの形状に基づく相補的診断を提案する。
論文 参考訳（メタデータ） (2026-05-31T04:25:36Z) - Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - Generation Order and Parallel Decoding in Masked Diffusion Models: An Information-Theoretic Perspective [16.942478643768144]
Masked Diffusion Models (MDMs) は、逐次決定論のトレードオフによって推論を著しく加速する。
我々は,2つの障害源である順序感度と並列化バイアスを分離し,解析するための統合情報理論フレームワークを提供する。
論文 参考訳（メタデータ） (2026-01-30T20:15:18Z) - Next-Token Prediction Should be Ambiguity-Sensitive: A Meta-Learning Perspective [12.655285605773932]
我々は,トランスフォーマーがモデルサイズ全体にわたって高いあいまいさの予測に苦慮していることを示す。
予備的な結果は、キャパシティアロケーションの改善とテストタイムのスケーラブルな推論を通じて、あいまいな文脈でかなりの増加を示す。
論文 参考訳（メタデータ） (2025-06-19T13:05:12Z) - Learning-Order Autoregressive Models with Application to Molecular Graph Generation [52.44913282062524]
本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。
提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
論文 参考訳（メタデータ） (2025-03-07T23:24:24Z) - CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。
我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
論文 参考訳（メタデータ） (2024-09-30T06:24:43Z) - Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。
本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T09:31:03Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳（メタデータ） (2020-03-10T09:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。