論文の概要: An Algebra of Transformers

• arxiv url: http://arxiv.org/abs/2610.36795v1
• Date: Tue, 27 Oct 2026 07:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.540186
• Title: An Algebra of Transformers
• Title（参考訳）: 変圧器の代数
• Abstract要約: 本稿では、変換器の関数分解結果に大きく依存する、推論のための代数を与える。 私たちが知っているように、トランスフォーマーを論理的にモデル化する最初の試みであり、トランスフォーマーベースのアプリケーションの正しさを検証するために使用できる。
• 参考スコア（独自算出の注目度）: 6.054343274975317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On the theoretic analyses on transforms, they mainly focus on the computability analysis, such the Turing-completeness of unbounded precision transformers, the advantage of parallelizability of unbounded precision transformers and the limitations of bounded precision transformers. This paper give transformers an algebra for reasoning, which relies heavily on the functional decomposition results of transformers. This algebra uses functional decompositions as atomic actions, includes sequential composition and parallel composition, recursion for feedback and abstraction for hidden layers. As we know, it is the first attempt to model transformers logically and can be used to verify the correctness of transformer based applications.
• Abstract（参考訳）: 変換に関する理論解析では、主に計算可能性解析(非有界精度変換器のチューリング完全性、非有界精度変換器の並列化可能性の利点、有界精度変換器の限界など)に焦点を当てている。 本稿では、変換器の関数分解結果に大きく依存する、推論のための代数を与える。 この代数学は、関数分解を原子の作用として用い、逐次合成と並列合成、フィードバックの再帰、隠された層に対する抽象化を含む。 私たちが知っているように、トランスフォーマーを論理的にモデル化する最初の試みであり、トランスフォーマーベースのアプリケーションの正しさを検証するために使用できる。

関連論文リスト

• Fixed Universal Transformers [50.35639171254542]
  本稿では,任意のクラス内の任意の変圧器を適切な入力埋め込みによりシミュレートできる固定変圧器について紹介する。 埋め込み次元が十分に大きい場合に、普遍性を達成する明示的なスパース構成を提供する。 以上の結果から,変圧器の表現力の大部分は,学習した重みよりも入力表現に留まる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-29T15:22:06Z)
• The Counting Power of Transformers [45.96383652484399]
  我々は変圧器の計数力を調べるための公式な枠組みを提供する。 我々の主な成果は、変換器が非常に非線形なカウント特性を表現できることである。 より正確には、変換器が全ての半代数的カウント特性をキャプチャできることを証明できる。
  論文  参考訳（メタデータ） (2025-05-16T12:56:59Z)
• Transformers are Expressive, But Are They Expressive Enough for Regression? [38.369337945109855]
  この結果から,トランスフォーマーはスムーズな関数を確実に近似するのに苦労し,分割的に一定間隔の近似に頼っていることがわかった。 これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。
  論文  参考訳（メタデータ） (2024-02-23T18:12:53Z)
• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• An Introduction to Transformers [23.915718146956355]
  Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。 本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
  論文  参考訳（メタデータ） (2023-04-20T14:54:19Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。