論文の概要: A Compositional Theory of Causally Masked Transformers

• arxiv url: http://arxiv.org/abs/2607.26988v1
• Date: Wed, 29 Jul 2026 14:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.707109
• Title: A Compositional Theory of Causally Masked Transformers
• Title（参考訳）: 因果的マスク変圧器の構成理論
• Abstract要約: モデルが実装した力学から直接表現性を導出する形式化を開発する。 各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。 修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
• 参考スコア（独自算出の注目度）: 50.88598486616582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What types of decision problems can a causally masked, finite-precision transformer solve for inputs of arbitrary length? Existing answers often rely on idealized arithmetic, but under finite precision, rounding and evaluation order can change what information attention retains and therefore what the model can compute. We develop an algebraic formalization that derives expressivity directly from the model's implemented dynamics. Its central object is its memory; the finite internal state computed by attention that summarizes the information from the prefix available to all future queries. Each attention head updates its own state independently within a layer, while layers compose hierarchically, providing a uniform route from model assumptions to expressivity bounds. Applying this method to transformers without positional embeddings, we obtain an expressivity hierarchy governed by the attention type under specific numerical semantics. Width-one sliding-window attention supports bounded-suffix memory, while a modified form of soft attention supports irreversible, checklist-like state, and combining the two mechanisms provides an interplay of both. Ordinary left-to-right floating-point soft attention can realize more expressive memory operations than any of the above. Algebraically, the four cases correspond to definite, R-trivial, locally R-trivial, and aperiodic semigroups. Under an explicit free-wiring assumption, all four bounds are tight.
• Abstract（参考訳）: 任意の長さの入力に対して因果マスク付き有限精度変換器はどのような種類の決定問題を解くことができるのか? 既存の答えは、しばしば理想的な算術に依存するが、有限の精度で、丸めと評価の順序は、情報注意が保持するものを変え、従ってモデルが計算できるものを変えることができる。 モデルが実装した力学から直接表現性を導出する代数的形式化を開発する。 その中心となるオブジェクトはそのメモリであり、すべての将来のクエリで利用可能なプレフィックスからの情報を要約した注意によって計算される有限内部状態である。 各アテンションヘッドは層内で独立に自身の状態を更新し、層は階層的に構成し、モデル仮定から表現性境界への均一な経路を提供する。 この手法を位置埋め込みのない変換器に適用することにより、特定の数値意味論に基づく注意型に支配される表現性階層を得る。 幅1のスライドウインドウアテンションは有界サフィックスメモリをサポートし、修正されたソフトアテンションは不可逆でチェックリストのような状態をサポートし、この2つのメカニズムを組み合わせることで両者の相互作用を提供する。 通常の左から右への浮動小数点のソフトアテンションは、上記のどれよりも表現力のあるメモリ操作を実現することができる。 代数的には、4つのケースは定値、R-自明、局所R-自明、および非周期半群に対応する。 明示的な自由配線仮定の下では、すべての4つの境界は厳密である。

関連論文リスト

• A Measure-Theoretic Analysis of Reasoning: Structural Generalization and Approximation Limits [17.425526755350948]
  離散軌跡を計量空間に投影し、領域シフトを定量化する。 カントロビッチ双対性を呼び起こすと、アーキテクチャ上のリプシッツ連続性と汎関数近似極限によるOOD一般化が成立する。
  論文  参考訳（メタデータ） (2026-05-19T15:00:51Z)
• Geometric Factual Recall in Transformers [57.48371649045765]
  一般的な見解では、内部の重み行列は埋め込みのペアに対する連想記憶として捉えられ、事実の数と線形にスケールする記憶数を必要とする。 我々は、学習した埋め込みが直接構造を符号化する、別のエンフェロメトリックな形態の記憶の理論的、実証的な説明を開発する。 単層変圧器が被写体から共有属性集合へのランダムベクトルを記憶しなければならない制御環境では、対数埋め込み次元が十分であることを示す。 これらの結果をマルチホップ設定に拡張し、証明可能なチェーン・オブ・シークレットによる構築を提供する。
  論文  参考訳（メタデータ） (2026-05-12T17:22:22Z)
• Deterministic Zeroth-Order Mirror Descent via Vector Fields with A Posteriori Certification [45.85698554568285]
  我々は、勾配を一般的なベクトル場に置き換えることで、決定論的ゼロ階ミラー降下フレームワークを開発する。 我々の分析は、最終段階の不等式評価のための評価テンプレートを提供する。 これらの結果は、ブレグマンのアイデンティティ、決定論的証明、およびゼロ階ミラー降下におけるロバストな円錐幾何学を隠蔽した幾何学的リンクを明らかにする。
  論文  参考訳（メタデータ） (2026-01-31T10:05:05Z)
• The Minary Primitive of Computational Autopoiesis [0.0]
  Minaryは、最初の公式に証明可能なオートポエティックプリミティブの候補として設計された計算フレームワークである。 与えられた意味的次元の活性化を条件とした正規化コンセンサスの平均と分散に関する正確な公式を導出する。 私たちは、Minaryは組織的にクローズドだが、MaturanaとVarelaの意味で運用的にオープンである、と論じています。
  論文  参考訳（メタデータ） (2026-01-08T02:12:04Z)
• Transformers Are Universally Consistent [14.904264782690639]
  ソフトマックスに基づく非線形アテンションを備えたトランスフォーマーは,最小二乗の回帰処理を行う場合,一様に整合性を示す。 我々は経験的誤差の上限を導出し、この条件下では$mathcalO(t-1/2d)$の証明可能な速度で減衰し、$t$は入力トークンの数を表し、$d$は埋め込み次元を表す。
  論文  参考訳（メタデータ） (2025-05-30T12:39:26Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• An Analysis of Attention via the Lens of Exchangeability and Latent Variable Models [64.87562101662952]
  入力トークンは、位置エンコーディングを含むため、しばしば交換可能であることを示す。 我々は入力トークンの十分かつ最小限の表現の存在を確立する。 所望パラメータの注意が近似誤差まで潜伏した後部を推定することを証明する。
  論文  参考訳（メタデータ） (2022-12-30T17:59:01Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
  確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。 我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。 まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2020-08-19T16:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。