論文の概要: Prediction Is Not a Sufficient Memory State

• arxiv url: http://arxiv.org/abs/2610.13881v1
• Date: Fri, 09 Oct 2026 17:27:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.700234
• Title: Prediction Is Not a Sufficient Memory State
• Title（参考訳）: 予測は十分なメモリ状態ではない
• Abstract要約: 全ての現在の予測を再現する記憶は、次の観測から学ぶ方法を忘れていたかもしれない。 我々はこの区別を、正確な累積学習と注意のために特徴づける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A memory that reproduces every current prediction may still have forgotten how to learn from the next observation. We characterize this distinction for exact cumulative learning and attention. For smooth convex residual losses with unrestricted real features and labels, a continuous recurrent state of fixed dimension exists exactly when the loss is polynomial. With ordinary, unweighted observations, degree $D$ requires precisely $r=\binom{d+D}{D}-1$ coordinates; even among histories with one fixed current predictor, exactly $r-d$ coordinates can remain necessary for continuation. Nonpolynomial losses have unbounded requirements on such equal-prediction histories. Bounded scalar logistic examples retain this obstruction after fixing any finite derivative jet. For ridge regression, the hidden evidence is the design matrix: the exact state costs $dp+d(d+1)/2$, versus $dp$ for the predictor. On a well-conditioned zero-prediction family, optimal $B$-bit compression has average one-update error of order $d^{-1}2^{-2B/s_d}$, $s_d=d(d+1)/2$, even with arbitrary randomized codes. Kernel attention gives a second exact closure classification. The results identify what future updates reveal, rather than proposing a new regression algorithm or asserting trained-model gains.
• Abstract（参考訳）: 全ての現在の予測を再現する記憶は、次の観測から学ぶ方法を忘れていたかもしれない。 我々はこの区別を、正確な累積学習と注意のために特徴づける。 制限のない実特徴とラベルを持つ滑らかな凸残差損失に対して、固定次元の連続的再帰状態は、損失が多項式であるときに正確に存在する。 通常の非重み付き観測では、次数$D$は正確に$r=\binom{d+D}{D}-1$座標を必要とする。 非ポリノミカルな損失は、そのような同値な予測履歴の要件を未定にしている。 境界スカラーロジスティックな例は、任意の有限微分ジェットを固定した後も、この障害を保っている。 リッジ回帰の場合、隠れた証拠は設計行列であり、正確な状態は$dp+d(d+1)/2$、予測器は$dp$である。 条件の整ったゼロ述語族では、最適$B$-bit圧縮は、任意のランダムコードであっても、平均$d^{-1}2^{-2B/s_d}$, $s_d=d(d+1)/2$の1回の更新誤差を持つ。 カーネルアテンションは2番目の正確なクロージャ分類を与える。 結果は、新しい回帰アルゴリズムを提案したり、トレーニングされたモデルゲインを主張するのではなく、将来のアップデートが示すものを特定します。

関連論文リスト

• The Cost of Long Memory: State, Context, and Stability Complexity in Sequence Models [0.0]
  正確な予測のために,状態,文脈,動的臨界性がどの程度必要かを検討する。 代数的に減衰する予測メモリに対して、指数的および有限状態モードの上下近似境界が一致することを証明する。 一様収縮状態ダイナミクスを持つ非線形文脈再帰に対しては、指数関数的な第一カオスエンベロープを導出する。
  論文  参考訳（メタデータ） (2026-09-24T02:54:56Z)
• A Convergence Framework for Deep $V$-Learning: Error Propagation and Sharp Action-Gap Bounds [0.0]
  更新エラーを、フィッティング、遷移再利用、ターゲット構築、リプレイ、アクション選択、探索の6つの残差に分解する。 次数$n-$の統計的誤差境界に対して、最適連続割り当てと、制約された最適値の係数2$以内の整数割り当てを導出する。 これらの結果から, FIFO/インターリーブされたSGDに対して, 厳密な動作スコアを有する固定水平生成-リセット近似-ERM法に対して, 期待されるポリシ-ロス一貫性が得られた。
  論文  参考訳（メタデータ） (2026-09-16T15:03:46Z)
• How Wrong Can a Good Predictor Be? Diverging Updates with Vanishing Predictive KL [8.929322780616545]
  更新写像の間の非有界なギャップは、定常対称ガウス HMM において、固定有限$Kge2$ に対して消滅する予測的 KL と共存することができる。 この構成は$K$で固定されており、圧縮が無害である場合や内部のギャップがタスク損失を発生させる必要がある場合の普遍的な基準を提供していない。
  論文  参考訳（メタデータ） (2026-09-10T06:22:53Z)
• Black-Box Assisted Regression: Phase Transitions and Minimax Optimality [13.030603690976202]
  ファンデーションモデルは、ラベル付きデータに制限のある下流タスクのための固定されたブラックボックス予測器としてしばしば使用される。 有限サンプルのミニマックス特徴づけを$_c(n) asymp n-/(2+d)$で表し、主要なリスクは$min2, n-2/(2+d)$である。 Safe Residual Estimatorを解析し、$f_0$あたりの補正を学習し、残留ヘッドを0で初期化し、初期予測器が$f_0$に等しいようにし、ホールドアウト選択を使用する。
  論文  参考訳（メタデータ） (2026-06-24T12:11:59Z)
• Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
  本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。 鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。 我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
  論文  参考訳（メタデータ） (2026-05-21T08:57:38Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Omnipredictors for Regression and the Approximate Rank of Convex Functions [7.549720420141907]
  クラス $mathcal L$ の損失関数とクラス $mathcal C$ の損失予測器は、$mathcal L$ の損失毎に $mathcal C$ の最良の仮説よりも予想される損失が少ない予測器である。
  論文  参考訳（メタデータ） (2024-01-26T04:29:53Z)
• Learning Near Optimal Policies with Low Inherent Bellman Error [115.16037976819331]
  エピソード強化学習における近似線形作用値関数を用いた探索問題について検討する。 我々は,検討した設定に対して最適な統計率を達成するアルゴリズムを用いて,Emphbatch仮定のみを用いて探索を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-29T02:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。