論文の概要: When can Optimally Trained Transformers Achieve Near-Lossless Token Prediction for non-Markovian Data?

• arxiv url: http://arxiv.org/abs/2610.41038v1
• Date: Thu, 29 Oct 2026 22:29:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.508491
• Title: When can Optimally Trained Transformers Achieve Near-Lossless Token Prediction for non-Markovian Data?
• Title（参考訳）: 非マルコフデータに対する最適学習型トランスフォーマーはいつ, ほぼロスレストケ予測を達成できるのか?
• Abstract要約: 非マルコフ音源に対する最適制御による次トーケン予測を理論的に訓練した変換器を用いて検討する。 非マルコフ音源に対して、一般モデルの定常性とエルゴディディティ、隠れマルコフモデルのフィルタ安定性のいずれにおいても、最適に訓練されたトランスフォーマーは、任意に小さな性能誤差を有することを示す。
• 参考スコア（独自算出の注目度）: 7.839709681312922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There exists little mathematical theory explaining why Transformer architectures are empirically successful even for non-Markovian data. To this end, this paper studies next-token prediction via stochastic optimal control theoretically trained Transformers for such sources, where we consider either stationary and ergodic non-Markovian sources or those which are hidden Markov models of some finite order (possibly non-stationary). In either case, we first obtain error bounds via finite models with finite window approximations. For stationary ergodic sources, the resulting error is bounded by an entropy gap; for $N$th order Markovian sources, it decays at an exponential rate $α^{\lfloor M/N\rfloor}$, where $M$ is the window length and $α$ is determined by filter stability (and the Dobrushin coefficients of the transition and measurement kernels). We then construct a Transformer of depth $M+1$, one head per layer, realizing the truncated filter, and we optimally train it with stochastic control developed in earlier work, which rigorously returns a near optimal Transformer. In particular, we show that for a non-Markovian source, either under stationarity and ergodicity for general models or under filter stability for hidden Markov models, an optimally trained Transformer has arbitrarily small performance error with increasing context length, data, and approximation refinement. Numerical studies accompany the theory.
• Abstract（参考訳）: トランスフォーマーアーキテクチャが非マルコフ的データに対しても経験的に成功した理由を説明する数学的理論はほとんどない。 本研究は,確率的最適制御を理論的に訓練した変換器を用いて,定常およびエルゴード的な非マルコフ源か,あるいは有限次(おそらく非定常)の隠れマルコフモデルであるかを考察する。 いずれの場合も、まず有限ウィンドウ近似を持つ有限モデルによる誤差境界を得る。 定常エルゴード源に対しては、結果として生じる誤差はエントロピーギャップによって制限される;$N$2次マルコフ源に対しては指数速度$α^{\lfloor M/N\rfloor}$で減衰する。 次に,1層あたり1ヘッドの深度$M+1$のトランスフォーマーを構築し,トランキャットフィルタを実現し,より初期の作業で発達した確率的制御を用いて最適に学習し,近似最適変換器を厳密に返却する。 特に,非マルコフ情報源,一般モデルに対する定常性とエルゴディディティ,あるいは隠れマルコフモデルに対するフィルタ安定性において,最適に訓練されたトランスフォーマーは,文脈長,データ,近似精度を増大させて任意に性能誤差を小さくすることを示した。 数値的な研究はその理論に付随する。

関連論文リスト

• What Do Foundation Models for Market Microstructure Learn? A Controlled Study with Synthetic Limit Order Books [52.171034819111945]
  我々は,潜在パラメータが知られているシミュレータから,GPTスタイルのモデルを順序流で学習する。 学習された予測は、トークン当たり1ミリナット以内のベイズ最適値と一致する。 実NASDAQデータでは、ゼロショット転送はシミュレーターが実際の流れをいかにうまくカバーするかによって設定される。
  論文  参考訳（メタデータ） (2026-10-14T12:38:49Z)
• Parameter-Free Zeroth-Order Optimization with Ellipsoidal Sampling [85.30100781543337]
  POEMESは、勾配情報が利用できない、あるいは計算に費用がかかるブラックボックス問題に対するパラメータフリーゼロ次アルゴリズムである。 等方的ランダムな方向に依存する従来のゼロ階のアプローチとは対照的に、POEMESは固定された構造対称正の半定値プレコンディショナー$hat$で導かれる異方的サンプリングを行う。 我々は、POEM-ESが低ランク構造仮定の下で次元還元収束率を達成できることを証明し、$tildemathcalOleft( fracleft( r2 (hat) +)しか必要としない。
  論文  参考訳（メタデータ） (2026-09-29T21:22:43Z)
• Standard Transformers Achieve the Minimax Rate in Nonparametric Regression with $C^{s,λ}$ Targets [8.844802588836059]
  本稿では,標準変換器がHlder関数を近似できることを示す最初の研究である。 サイズと次元ベクトルの2つの指標を導入することにより、トランスフォーマー構造を微粒化することができる。
  論文  参考訳（メタデータ） (2026-02-24T05:14:01Z)
• Toward a Theory of Tokenization in LLMs [26.516041872337887]
  本稿では, 簡単なデータ生成プロセスにおいて, 変圧器の挙動を研究することによって, 理論的観点からトークン化について検討する。 変換器によって学習された最も単純なユニグラムモデルでさえ、$ktextth$-order Markovソースから引き出されたシーケンスの確率を最適にモデル化できることを示す。
  論文  参考訳（メタデータ） (2024-04-12T09:01:14Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。