論文の概要: Universality and Generalization of Causal Transformers Across Context Lengths

• arxiv url: http://arxiv.org/abs/2609.35055v1
• Date: Mon, 28 Sep 2026 12:50:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:24:23.881508
• Title: Universality and Generalization of Causal Transformers Across Context Lengths
• Title（参考訳）: 文脈長における因果変換器の普遍性と一般化
• Abstract要約: 固定された正規化水平線をサンプリングする任意の長さの列に対して因果トークン・ツー・トケンマップを均一に近似できるかを検討した。 分解能間の連続性の概念は、長さに依存しないパラメータを持つ単一変圧器により、コンパクトな入力クラスに一様近似を許容する因果族を特徴づける。 物理時系列の実験は、データセット依存の適応指数を持つ観測スケールでのHlder-regularトークンモデルをサポートし、テキスト入力の埋め込みは対照的なケースを提供する。
• 参考スコア（独自算出の注目度）: 29.587685183870775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long contexts are central to modern transformer systems, but most expressivity results choose a different network for each fixed sequence length. We study whether one masked transformer can approximate causal token-to-token maps uniformly over sequences of arbitrary length sampling a fixed normalized horizon. To relate sampling resolutions, we model tokens by $α$-Hölder sequences or, more generally, a common modulus of continuity. Our notion of continuity across resolutions characterizes the causal families admitting uniform approximation on these compact input classes by a single transformer with length-independent parameters. The result extends to the infinite-length mean-field limit, where tokens form continuous curves and masked attention becomes a causal time integral. For bounded regression with target maps satisfying a $β$-smooth stability condition defined using regular test functions, quantitative approximation yields a generalization bound: exact empirical risk minimization over suitably sized bounded-weight transformers gives root mean-square prediction error $O((\log\log N/\log N)^{β/(d+2)})$ from $N$ iid labeled sequences. The bound holds at fixed confidence on the same sampling distribution, with $d$ the token dimension and no maximum-length factor. Finally, experiments on physical time series support the Hölder-regular token model at observed scales, with dataset-dependent fitted exponents, whereas text input embeddings provide a contrasting case. Native and dense sampling, shuffled controls, and refinement checks delimit this empirical regularity regime.
• Abstract（参考訳）: 長いコンテキストは現代の変圧器システムの中心であるが、ほとんどの表現力は固定列長ごとに異なるネットワークを選択する。 固定された正規化水平線をサンプリングする任意の長さの列に対して因果トークン・ツー・トケンマップを均一に近似できるかを検討した。 サンプリング分解を関連付けるために、$α$-ヘルダー列またはより一般的には連続性の共通モジュラリティによってトークンをモデル化する。 分解能間の連続性の概念は、長さに依存しないパラメータを持つ単一変圧器により、これらのコンパクトな入力クラスに一様近似を許容する因果族を特徴づける。 この結果は、トークンが連続曲線を形成し、マスキングされた注意が因果時間積分となる無限長平均場極限にまで拡張される。 正規テスト関数を用いて定義された$β$-smoothの安定条件を満たす有界回帰に対して、定量的近似は一般化される: 適切な大きさの有界変圧器に対する正確な経験的リスク最小化は、ルート平均二乗予測誤差$O((\log\log N/\log N)^{β/(d+2)})$$N$iidラベル付きシーケンスから得られる。 境界は同じサンプリング分布に対して一定の信頼を保ち、トークン次元は$d$で最大長係数は存在しない。 最後に、物理時系列に関する実験は、データセット依存の適応指数を持つ観測スケールでのヘルダー正則トークンモデルをサポートするが、テキスト入力の埋め込みは対照的なケースを提供する。 ネイティブで密集したサンプリング、シャッフルコントロール、精製チェックは、この経験的規則性体制を排除します。

関連論文リスト

• Universal Approximation of Measure-to-Measure Operators by Pushforwards [8.271195591114806]
  有限$p$-次モーメントの出力を持つ任意の連続測度演算子は、連続的なプッシュフォワードにより、$p$-ヴァッサーシュタイン距離において一様近似できることを示す。 また、このフレームワークを継続的に変化するソース測度に拡張し、プッシュフォワードモデルのクラスに対して対応する結果を得る。
  論文  参考訳（メタデータ） (2026-09-28T15:58:06Z)
• Conditional Total Correlation and the Serial Depth of Adaptive Parallel Sampling [6.705150928866435]
  擬似コストは、デプロイされた復号規則を区別し、そのポリシーランキングは自己サンプリングされた出力の品質と密接に一致していることを示す。 マスク付き拡散言語モデルを用いた実験は、擬似コストがデプロイされた復号規則を区別し、そのポリシーランキングが自己サンプリングされた出力の品質と密接に一致していることを示している。
  論文  参考訳（メタデータ） (2026-08-26T08:16:24Z)
• Machine learning prediction of the convergence criterion for a topological invariant of finite non-Hermitian chains [0.0]
  所要の作物長は物理的崩壊(局在)長さによって制御されていることを示す。 我々はハミルトニアンを1組の集合で訓練し、予測器は正確にハミルトンと複素基底エネルギーの見当たらないハミルトニアンに一般化する。 これらの結果は、実数長を選ぶ実践的かつ物理的に解釈可能な方法を提供し、したがって実空間不変量が有限非エルミート鎖の位相を確実に捉えることができるかどうかを決定する。
  論文  参考訳（メタデータ） (2026-07-07T06:54:16Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• A Note on Stability for Orthogonalized Matrix Momentum with Client Sampling [7.035974899001363]
  我々は, 隣接再帰安定性と重み付き濃度ステップから, 有限ラウンド上尾保証を導出した。 一次元の反例は、なぜギャップ、平滑化、あるいは正則性条件が必要なのかを示す。
  論文  参考訳（メタデータ） (2026-06-01T05:36:26Z)
• The Phasor Transformer: Resolving Attention Bottlenecks on the Unit Circle [0.09229852843814058]
  textbfPhasor Transformer ブロックは、単位円多様体 $S1$ 上のシーケンス状態を表すフェーズネイティブな代替である。 これらのブロックを積み重ねると textbfLarge Phasor Model (LPM) が定義される。 その結果,時間列の大規模モデルスケーリングが,決定論的大域的結合を伴う幾何制約位相から生じることを実証し,明確な効率・性能のフロンティアを確立した。
  論文  参考訳（メタデータ） (2026-03-18T07:18:41Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。