論文の概要: Information-Theoretic Analysis of Next-Token Prediction under Markovian Data

• arxiv url: http://arxiv.org/abs/2609.34731v1
• Date: Mon, 28 Sep 2026 09:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:22:37.438357
• Title: Information-Theoretic Analysis of Next-Token Prediction under Markovian Data
• Title（参考訳）: マルコフデータに基づく次世代予測の情報理論解析
• Abstract要約: 時間依存データに基づく次点予測における一般化のための情報理論フレームワークを開発する。 クロスエントロピー損失に対しては、マルコフ連鎖に対するドンスカー-バラダン変分表現とマクダイアルミード型濃度不等式を用いて期待される一般化を導出する。 マージンに基づく予測では、雑音の多い低次元圧縮により線形および自己注意の次トーケン予測に対する明示的な境界を導出する。
• 参考スコア（独自算出の注目度）: 19.072179047924973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop an information-theoretic framework for generalization in next-token prediction under temporally dependent data. We consider independent trajectories generated by finite-memory Markov processes and distinguish algorithmic dependence, quantified by mutual information, from temporal dependence, characterized by mixing. For cross-entropy loss, we derive an expected generalization bound using the Donsker--Varadhan variational representation and a McDiarmid-type concentration inequality for Markov chains. A refinement captures the joint effect of context length and temporal mixing through the mixing properties of the history-state process. We then extend the bound through a rate--distortion formulation, replacing mutual information with the minimum information rate required to represent the learned model within a prescribed distortion in the generalization gap, yielding informative guarantees for deterministic algorithms over continuous hypothesis spaces. For margin-based prediction, we derive explicit bounds for linear and self-attention next-token predictors via noisy low-dimensional compression, revealing the roles of context length, model complexity, sample size, margin, and temporal mixing. Experiments on TinyStories and ETTh2 show that longer contexts can reduce both training and test losses, but typically reduce training loss more, enlarging the generalization gap. A complementary ETTh2 analysis identifies an effective predictive-memory scale near 24 hours, with no statistically supported improvement beyond this scale, offering a plausible explanation for test-performance saturation at larger contexts.
• Abstract（参考訳）: 時間依存データに基づく次点予測における一般化のための情報理論フレームワークを開発する。 有限メモリマルコフ過程によって生成される独立トラジェクトリを考察し、相互情報によって定量化されるアルゴリズム依存と、混合によって特徴づけられる時間依存とを区別する。 クロスエントロピー損失に対しては、マルコフ連鎖に対するドンスカー-バラダン変分表現とマクダイアルミード型濃度不等式を用いて期待される一般化を導出する。 精製は、履歴-状態過程の混合特性を通じて、文脈長と時間混合の結合効果をキャプチャする。 次に、その境界を速度歪みの定式化により拡張し、相互情報を一般化ギャップ内の所定の歪み内で学習モデルを表現するために必要な最小情報率に置き換え、連続仮説空間上の決定論的アルゴリズムに対する情報的保証を与える。 マージンに基づく予測では、雑音の多い低次元圧縮により線形および自己注意型次トーケン予測器の明示的境界を導出し、コンテキスト長、モデル複雑性、サンプルサイズ、マージン、時間混合の役割を明らかにする。 TinyStoriesとETTh2の実験では、長いコンテキストはトレーニングとテストの損失の両方を減らすが、通常はトレーニングの損失を減らし、一般化のギャップを拡大する。 補完的なETTh2分析では、24時間近くで効果的な予測メモリスケールが特定され、このスケール以上の統計的に支持された改善はない。

関連論文リスト

• Improving Spatio-Temporal Residual Error Propagation by Mitigating Over-Squashing [4.62541204592513]
  本稿では,エラー関連自己回帰予測の時間的制限を克服する構造的不確実性モジュールであるTegerを紹介する。 Tegerはバックボーンに依存しないため、自己回帰エンコーダによって生成される潜伏状態のみを必要とする。
  論文  参考訳（メタデータ） (2026-05-18T08:51:33Z)
• Dimension-free error estimate for diffusion model and optimal scheduling [22.20348860913421]
  拡散生成モデルは、経験的に観察された分布から合成データを生成するための強力なツールとして登場した。 従来の分析では、生成したデータと真のデータ分布の誤差を、ワッサーシュタイン距離やクルバック・リーバーの偏差の観点から定量化していた。 本研究では, 生成したデータ分布と真のデータ分布との相違点に有意な次元自由境界を導出する。
  論文  参考訳（メタデータ） (2025-12-01T15:58:20Z)
• Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
  本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。 速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
  論文  参考訳（メタデータ） (2025-12-01T05:14:25Z)
• Memorization and Regularization in Generative Diffusion Models [5.128303432235475]
  拡散モデルは、生成モデリングの強力なフレームワークとして登場した。 この分析は、解析的に抽出可能な最小化器の再生を避けるための正規化の必要性を強調している。 実験は記憶の文脈で評価され、今後の正規化の方向性が強調される。
  論文  参考訳（メタデータ） (2025-01-27T05:17:06Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Trade-off Between Dependence and Complexity for Nonparametric Learning -- an Empirical Process Approach [10.27974860479791]
  データが時間的依存を示す多くのアプリケーションでは、対応する経験的プロセスは理解されていない。 標準的な$beta/rho$-mixingの仮定の下では、経験過程の期待上限に一般化する。 長距離依存下であっても、i.d.設定と同じ速度で達成できることが示される。
  論文  参考訳（メタデータ） (2024-01-17T05:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。