論文の概要: VC Dimension and Expressivity of Real-Valued Transformers

• arxiv url: http://arxiv.org/abs/2609.31999v1
• Date: Fri, 25 Sep 2026 21:01:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:55:07.765129
• Title: VC Dimension and Expressivity of Real-Valued Transformers
• Title（参考訳）: 実値変圧器のVC次元と表現性
• Abstract要約: 実値で動作するソフトマックスアテンション多層トランスについて検討する。 変換器がアクセス可能な実数のビット数に制限を課す。
• 参考スコア（独自算出の注目度）: 8.841738060060864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whereas previous results on abilities and limitations of transformers have restricted the definition of transformers in various ways, here we study softmax-attention, multi-layer transformers operating on real values, with very few additional assumptions. Applying results from real geometry, we obtain upper bounds on the VC dimension and split VC dimension of such transformers ($O(n^4)$ and $O(n^6)$, respectively, where $n$ is the input length). Conversely, we also construct specific transformers witnessing lower bounds on these quantities ($Ω(n)$ in each case). These results have some notable consequences. For example, within the class of symmetric (permutation-invariant) functions, we show that transformers can uniformly express all functions over an alphabet of one symbol and non-uniformly express all functions over an alphabet of two symbols, but cannot (even non-uniformly) express some functions over an alphabet of six symbols. We also prove limitations on how many bits of a real number a transformer can access.
• Abstract（参考訳）: 変圧器の能力と限界に関する以前の結果は様々な方法で変圧器の定義を制限してきたが、ここでは、実際の値で動作するソフトマックスアテンション、多層変圧器について、追加の仮定はほとんどない。 実幾何学から結果を適用すると、そのような変換器のVC次元上の上限(O(n^4)$と$O(n^6)$)を得る。 逆に、これらの量についてより低い境界を示す特定の変換器(それぞれの場合$Ω(n)$)も構築する。 これらの結果はいくつかの顕著な結果をもたらす。 例えば、対称な(置換不変な)関数のクラスでは、変換子は1つのシンボルのアルファベット上で全ての関数を均一に表現でき、2つのシンボルのアルファベット上で全ての関数を一様に表現できるが、6つのシンボルのアルファベット上では(一様でない)いくつかの関数を表現できないことを示す。 また、変換器がアクセス可能な実数のビット数についても制限を証明します。

関連論文リスト

• Fixed Universal Transformers [50.35639171254542]
  本稿では,任意のクラス内の任意の変圧器を適切な入力埋め込みによりシミュレートできる固定変圧器について紹介する。 埋め込み次元が十分に大きい場合に、普遍性を達成する明示的なスパース構成を提供する。 以上の結果から,変圧器の表現力の大部分は,学習した重みよりも入力表現に留まる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-29T15:22:06Z)
• Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
  パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
  論文  参考訳（メタデータ） (2026-05-28T19:58:43Z)
• The Counting Power of Transformers [45.96383652484399]
  我々は変圧器の計数力を調べるための公式な枠組みを提供する。 我々の主な成果は、変換器が非常に非線形なカウント特性を表現できることである。 より正確には、変換器が全ての半代数的カウント特性をキャプチャできることを証明できる。
  論文  参考訳（メタデータ） (2025-05-16T12:56:59Z)
• Concise One-Layer Transformers Can Do Function Evaluation (Sometimes) [1.157192696857674]
  本稿では,変圧器の表現能力に関する研究に寄与する。 任意の関数を与えられた引数で$[n]$から$[n]$に評価する基本的な計算タスクを実行する能力に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-28T01:40:23Z)
• Counting Like Transformers: Compiling Temporal Counting Logic Into Softmax Transformers [8.908747084128397]
  時間カウントロジックの $textsfK_textt$[#] と RASP の $textsfC-RASP$ を紹介します。 それらが互いに等価であることを示し、それらが結合されていない入力サイズを持つ将来のマスキング型ソフトアテンショントランスの形式的表現性に最もよく知られた下界であることを示す。
  論文  参考訳（メタデータ） (2024-04-05T20:36:30Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。