論文の概要: The Cost of Long Memory: State, Context, and Stability Complexity in Sequence Models
- arxiv url: http://arxiv.org/abs/2610.08816v1
- Date: Thu, 24 Sep 2026 02:54:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 16:33:44.542312
- Title: The Cost of Long Memory: State, Context, and Stability Complexity in Sequence Models
- Title（参考訳）: 長期記憶のコスト:シーケンスモデルにおける状態、文脈、安定性の複雑さ
- Abstract要約: 正確な予測のために,状態,文脈,動的臨界性がどの程度必要かを検討する。
代数的に減衰する予測メモリに対して、指数的および有限状態モードの上下近似境界が一致することを証明する。
一様収縮状態ダイナミクスを持つ非線形文脈再帰に対しては、指数関数的な第一カオスエンベロープを導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-range temporal dependence poses a resource question for sequence models: for a specified predictive-memory law, how much state, context, or dynamical criticality is required in order to forecast accurately? We study this question directly in forecasting risk. For algebraically decaying predictive memory, we prove matching upper and lower approximation bounds for exponential and finite-state modes. The best $r$-mode forecast error decays as $e^{-Θ(\sqrt r)}$, so reaching forecast error $τ$ needs $r=Θ(\log^2(1/τ))$ states or modes. Earlier curse-of-memory results establish broad limitations of stable recurrent models under different approximation notions; here both sides match for one canonical predictive target in forecast risk, which fixes the optimal resource exponent for that target. We then show that genuine fractional long memory changes the geometry itself. In particular, forecast error is measured after fractional integration, prediction from a finite context of length $L$ has an exact $1/L$ leading order, and a fixed fractional strength $d$ keeps the square-log state-complexity law. Near the short-memory boundary, we identify the relevant $d^2$ and $d^4$ scales and give a uniform constructive law in the intermediate regime. For nonlinear contextual recurrences with uniformly contractive state dynamics, we derive an exponential first-chaos envelope and an explicit necessary condition that relates forecast accuracy to the contraction margin. Vanishing forecasting error on an algebraic target forces the recurrence quantitatively toward criticality, a condition that is necessary and not by itself sufficient. Finite-sample Kullback--Leibler calculations further connect the predictive geometry to statistical information. Theorem-matched experiments with contractive state-space, gated recurrent, and attention models reproduce the state and stability predictions.
- Abstract（参考訳）: 特定の予測メモリ法則では、正確に予測するために、どの程度の状態、文脈、動的臨界性が必要か?
我々はこの問題を予測リスクで直接研究する。
代数的に減衰する予測メモリに対して、指数的および有限状態モードの上下近似境界が一致することを証明する。
最良の$r$-mode予測誤差は$e^{->(\sqrt r)}$として崩壊するので、予測誤差に到達するには$τ$は$r=>(\log^2(1/τ))$状態またはモードが必要である。
ここでは、双方が予測リスクにおいて1つの標準的予測目標に一致し、その目標に対して最適なリソース指数を固定する。
次に、真の分数長メモリが幾何学そのものを変えることを示す。
特に、予測誤差は分数積分の後に測定され、長さの有限コンテキストからの予測$L$は正確に1/L$の先行順序を持ち、固定分数強度$d$は平方ログ状態複雑性法則を保持する。
短メモリ境界付近で、関連する$d^2$と$d^4$スケールを特定し、中間状態における一様構成則を与える。
一様収縮状態の非線形文脈再帰に対しては、指数的な第一カオスエンベロープと、予測精度と収縮マージンを関連付ける明示的な必要条件を導出する。
代数的対象に対する予測誤差の無効化は、繰り返しを定量的に臨界に向かって押し付け、それは必要であり、それ自体は十分ではない条件である。
有限サンプルKullback--Leibler計算は予測幾何学と統計情報を更に結びつける。
契約状態空間、ゲートリカレント、アテンションモデルによる理論マッチング実験は、状態と安定性の予測を再現する。
関連論文リスト
- Memory Prediction Excess: A Probabilistic Quantity for Predictive Gain and Memory Length in Stochastic Processes [4.374181093564213]
本稿では,この問題に定量的に対処するために,メモリ予測エクササイズ(MPE)を導入する。
MPEは観測履歴全体を用いて得られた予測精度を平均的に改善する。
最適条件予測精度と最適静的予測精度との差として定義される。
論文 参考訳（メタデータ） (2026-09-28T08:52:12Z) - A Solvable Theory of Pre-training Data Poisoning: Regime-Dependent Scaling Exponents [30.86966284669791]
毒性率$varepsilon$が成長するにつれて、モデルのクリーンなデータパフォーマンスはどのように低下するかを調査する。
比較的クリーンなデータ検証の難易度が、アーキテクチャ、トークン予算、最適化スケジュールで一致した有毒なモデルとクリーンなモデルの間で$$$$を上昇させるOLMoスタイルモデルの事前学習によって動機づけられたこのモデルは、$approx Cvarepsilona$と非整数指数で$$approx Cvarepsilona$に適合するので、理論的に何が必要なのかを問う。
論文 参考訳（メタデータ） (2026-09-26T06:21:46Z) - Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。
鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。
我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
論文 参考訳（メタデータ） (2026-05-21T08:57:38Z) - Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。
本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
論文 参考訳（メタデータ） (2025-12-31T12:08:29Z) - Monitoring State Transitions in Markovian Systems with Sampling Cost [65.4151496405543]
自然なアプローチは、予想される予測損失がクエリコスト以下で、クエリがなければいつ発生するかを予測する、欲張りのポリシーである。
最適(OPT)戦略は状態依存のしきい値ポリシである。
遷移確率が未知の場合、我々は、グレディポリシーの予測勾配降下(PSGD)に基づく学習変種を提案する。
論文 参考訳（メタデータ） (2025-10-25T15:07:37Z) - Non-Asymptotic Analysis of Efficiency in Conformalized Regression [17.873283539065387]
我々は,SGDを用いてトレーニングされた共形量子化および中央値回帰のためのオラクル間隔長からの予測セット長のずれに関する非漸近的境界を確立する。
その結果, 収束速度の位相遷移を$alpha$の異なる規則で同定し, 余剰予測セット長を制御するためにデータを割り当てるためのガイダンスを提供する。
論文 参考訳（メタデータ） (2025-10-08T14:50:35Z) - Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。
次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。
C=e(log H)1-Omega(1)$。
論文 参考訳（メタデータ） (2025-02-18T02:52:00Z) - Stability and Risk Bounds of Iterative Hard Thresholding [41.082982732100696]
アルゴリズム安定性の概念の下でIHTの新しいスパース一般化理論を導入する。
スパースレベル$k$のIHTは、スパース過剰リスクにおける収束率を$mathcaltilde O(n-1/2sqrtlog(n)log(p))$で楽しむことを示す。
理論的予測を確認するための予備的な数値的証拠が提供される。
論文 参考訳（メタデータ） (2022-03-17T16:12:56Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Estimation in Tensor Ising Models [5.161531917413708]
N$ノード上の分布から1つのサンプルを与えられた$p$-tensor Isingモデルの自然パラメータを推定する問題を考える。
特に、$sqrt N$-consistency of the MPL estimate in the $p$-spin Sherrington-Kirkpatrick (SK) model。
我々は、$p$-tensor Curie-Weiss モデルの特別な場合における MPL 推定の正確なゆらぎを導出する。
論文 参考訳（メタデータ） (2020-08-29T00:06:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。