論文の概要: On the Expressive Power of Floating-Point Transformers

• arxiv url: http://arxiv.org/abs/2601.16450v1
• Date: Fri, 23 Jan 2026 05:03:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.547068
• Title: On the Expressive Power of Floating-Point Transformers
• Title（参考訳）: 浮動小数点変圧器の表現力について
• Authors: Sejun Park, Yeachan Park, Geonho Hwang,
• Abstract要約: 浮動小数点パラメータと浮動小数点演算を用いた浮動小数点変換器の表現可能性について検討する。 浮動小数点変換器は位置符号化なしでも非置換同変関数のクラスを表現することができることを示す。
• 参考スコア（独自算出の注目度）: 12.42591017155152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The study on the expressive power of transformers shows that transformers are permutation equivariant, and they can approximate all permutation-equivariant continuous functions on a compact domain. However, these results are derived under real parameters and exact operations, while real implementations on computers can only use a finite set of numbers and inexact machine operations with round-off errors. In this work, we investigate the representability of floating-point transformers that use floating-point parameters and floating-point operations. Unlike existing results under exact operations, we first show that floating-point transformers can represent a class of non-permutation-equivariant functions even without positional encoding. Furthermore, we prove that floating-point transformers can represent all permutation-equivariant functions when the sequence length is bounded, but they cannot when the sequence length is large. We also found the minimal equivariance structure in floating-point transformers, and show that all non-trivial additive positional encoding can harm the representability of floating-point transformers.
• Abstract（参考訳）: 変換器の表現力の研究は、変換器が置換同変であることを示し、コンパクト領域上のすべての置換同変連続関数を近似することができる。 しかし、これらの結果は実際のパラメータと正確な演算に基づいて導出され、一方、コンピュータ上の実際の実装では、有限個の数とラウンドオフエラーを持つ不正確なマシン操作しか使用できない。 本研究では,浮動小数点パラメータと浮動小数点演算を用いた浮動小数点変換器の表現可能性について検討する。 正確な操作下での既存の結果とは異なり、浮動小数点変換器は位置符号化なしでも非置換同変関数のクラスを表現できることを示す。 さらに、浮動小数点変換器は、列長が有界なとき、全ての置換同変関数を表現できるが、列長が大きければ表現できないことを証明した。 また,浮動小数点変圧器における最小等分散構造が,浮動小数点変圧器の表現可能性に悪影響を及ぼすことを示す。

関連論文リスト

• The Counting Power of Transformers [45.96383652484399]
  我々は変圧器の計数力を調べるための公式な枠組みを提供する。 我々の主な成果は、変換器が非常に非線形なカウント特性を表現できることである。 より正確には、変換器が全ての半代数的カウント特性をキャプチャできることを証明できる。
  論文  参考訳（メタデータ） (2025-05-16T12:56:59Z)
• Concise One-Layer Transformers Can Do Function Evaluation (Sometimes) [1.157192696857674]
  本稿では,変圧器の表現能力に関する研究に寄与する。 任意の関数を与えられた引数で$[n]$から$[n]$に評価する基本的な計算タスクを実行する能力に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-28T01:40:23Z)
• Approximation of Permutation Invariant Polynomials by Transformers: Efficient Construction in Column-Size [6.9060054915724]
  トランスフォーマー(Transformer)は、様々な領域で顕著なパフォーマンスを示すニューラルネットワークの一種である。 本研究では,変圧器の柱対称近似能力について検討した。
  論文  参考訳（メタデータ） (2025-02-17T05:56:11Z)
• Transformers as Transducers [27.48483887144685]
  変換器のシーケンス・ツー・シーケンスマッピング能力について有限変換器に関連付けることにより検討する。 既存のブール変種であるB-RASPをシーケンス・ツー・シーケンス関数に拡張し、一階有理関数を正確に計算することを示す。 マスク付き平均的注意変換器はS-RASPをシミュレートできることを示す。
  論文  参考訳（メタデータ） (2024-04-02T15:34:47Z)
• Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
  思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。 この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
  論文  参考訳（メタデータ） (2024-02-20T10:11:03Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。