論文の概要: Predictive Latents for Autoregressive Language Models: Possibility, Gauge, and Obstruction
- arxiv url: http://arxiv.org/abs/2610.28540v1
- Date: Tue, 20 Oct 2026 17:10:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.942142
- Title: Predictive Latents for Autoregressive Language Models: Possibility, Gauge, and Obstruction
- Title（参考訳）: 自己回帰型言語モデルのための予測型潜伏語:可能性、ゲージ、障害
- Abstract要約: ノートは1つの潜伏過程において3つのリスクを分離する。
教師が強制する潜伏リスク$R_mathrmtok$は、本当の隠れた状態を見る1ステップのマップをスコアする。
オープンループリスク$R_H$は、自身の出力で反復された後に同じマップをスコアする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive language models are trained by next-token cross-entropy, yet several recent systems also iterate a hidden state without emitting a token: continuous thoughts, pause steps, and recurrent depth. This note separates three risks on one latent process. The token risk $R_{\mathrm{tok}}$ scores a readout. The teacher-forced latent risk $R_1$ scores a one-step map that sees the true hidden state. The open-loop risk $R_H$ scores the same map after it has been iterated on its own outputs. If the Bayes next-token posterior is a function of a $k$-dimensional statistic with full-rank covariance, a width-$k$ latent, a linear least-squares transition, and a refit unembedding match the Bayes token predictor. The statistic is identified only up to an invertible gauge: whitening the residual stream does not change the token law once the unembedding is refit. The matching obstructions are sharp. A constant latent drives $R_1$ to zero while token cross-entropy falls back to the marginal entropy. A perfect token predictor can still hide a null-space walk whose open-loop error grows linearly in the horizon. A small next-latent loss does not certificate next-token prediction, and a small next-token loss does not certificate free latent rollout, unless a rank or injectivity condition is stated with the number.
- Abstract（参考訳）: 自動回帰言語モデルは、次のトーケンのクロスエントロピーによってトレーニングされるが、最近のいくつかのシステムは、トークンを発行せずに隠れた状態を反復する。
このメモは、1つの潜伏プロセスにおいて3つのリスクを分離する。
トークンリスク$R_{\mathrm{tok}}$は、読み取り値を取得する。
教師が強制する潜伏リスク$R_1$は、本当の隠れた状態を見る1ステップのマップをスコアする。
オープンループリスク$R_H$は、自身の出力で反復された後に同じマップをスコアする。
ベイズ次トーケン後部がフルランク共分散を持つ$k$次元統計関数、幅$k$潜伏関数、線形最小二乗遷移関数、およびベイズトークン予測器に適合しない再埋め込み関数である場合。
統計学は可逆ゲージまでしか特定されない:残差ストリームの白化は、未埋め込みが再適合するまでトークン法則を変えない。
一致する障害物は鋭いです。
定数潜在子は$R_1$を0に駆動し、トークンのクロスエントロピーは限界エントロピーにフォールバックする。
完璧なトークン予測器は、水平線で直線的に開ループ誤差が増大するヌルスペースウォークを隠すことができる。
小さい次の遅延損失は次のトークン予測を証明せず、小さな次の遅延損失は、ランクやインジェクティビティ条件が番号で記載されない限り、遅延ロールアウトを証明しない。
関連論文リスト
- Multi-Token Random-Walk Learning via Meeting-Triggered Information Exchange [11.515750980755522]
2つの情報交換ポリシーの下で,マルチトークンRW学習について検討する。
textscAverage-Modelは平均トーケン損失を低くし、ネットワークトーケン比$Nm/$に比較的敏感である。
textscGradientは、ベストトーケン損失の低減を実現し、ネットワークツートーケン比の$Nm/$に比較的敏感である。
論文 参考訳（メタデータ） (2026-10-10T08:35:00Z) - Prediction Is Not a Sufficient Memory State [0.0]
全ての現在の予測を再現する記憶は、次の観測から学ぶ方法を忘れていたかもしれない。
我々はこの区別を、正確な累積学習と注意のために特徴づける。
論文 参考訳（メタデータ） (2026-10-09T17:27:06Z) - One-Step Next-Latent Prediction Is Not a World Model [29.10344289549364]
次の遅延予測は、現在の埋め込みから次の埋め込みへのマップに適合する。
LeNEPAはこの目的を時系列に伝え、次のエンベディング予測の停止段階をLeJEPAの異方性ペナルティに置き換える。
論文 参考訳（メタデータ） (2026-09-28T20:24:50Z) - Decoupling Token Roles in Autoregressive Pretraining [64.8145310915365]
ノイズの多いトークンを予測しやすくすることは、ターゲットとしてのダメージを減少させるが、コンテキストとして増大させる。
同じ分離は、言語モデルによって生成されたテキストを説明するのに役立つ。
論文 参考訳（メタデータ） (2026-09-27T09:33:02Z) - SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。
我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文 参考訳（メタデータ） (2026-08-23T10:41:07Z) - Next-Token Prediction and Regret Minimization [39.73178505655866]
対戦型オンライン意思決定環境において,次世代の予測アルゴリズムをいかに活用するかという課題を考察する。
すべての分布 $mathcalD$ は低回帰分布ではないが、すべての分布 $mathcalD$ は1つの低回帰分布に指数関数的に近いことを示す。
論文 参考訳（メタデータ） (2026-03-30T14:34:41Z) - SJD-VP: Speculative Jacobi Decoding with Verification Prediction for Autoregressive Image Generation [64.43642479951576]
投機的ヤコビ復号法(SJD)は自己回帰画像生成を高速化するための有望な手法として登場した。
検証予測付き投機的ヤコビ復号法(SJD-VP)を提案する。
我々のSJD-VPはプラグアンドプレイであり、既存のSJDメソッドにシームレスに統合できる。
論文 参考訳（メタデータ） (2026-03-28T03:59:03Z) - Thinking into the Future: Latent Lookahead Training for Transformers [34.73973224120233]
次トーケン予測で訓練された自己回帰言語モデルは、一度に1つの離散トークンをサンプリングすることでテキストを生成する。
我々は、モデルが生成前に"考える"ことができるトレーニング戦略である潜在ルックアヘッドを紹介します。
本研究では,潜在ルックアヘッドが,迷路解決やスドク,ProsQAといった計画課題において,自己回帰的,非自己回帰的ベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2026-03-03T17:15:42Z) - Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。
このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。
この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
論文 参考訳（メタデータ） (2026-01-30T17:47:16Z) - Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。
次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。
C=e(log H)1-Omega(1)$。
論文 参考訳（メタデータ） (2025-02-18T02:52:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。