論文の概要: Fixed Universal Transformers

• arxiv url: http://arxiv.org/abs/2605.31423v1
• Date: Fri, 29 May 2026 15:22:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.695917
• Title: Fixed Universal Transformers
• Title（参考訳）: 固定ユニバーサルトランス
• Abstract要約: 本稿では,任意のクラス内の任意の変圧器を適切な入力埋め込みによりシミュレートできる固定変圧器について紹介する。 埋め込み次元が十分に大きい場合に、普遍性を達成する明示的なスパース構成を提供する。 以上の結果から,変圧器の表現力の大部分は,学習した重みよりも入力表現に留まる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 50.35639171254542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce \emph{universal transformers}: fixed transformers that can simulate any transformer in a given class via a suitable input embedding. Analogous to a universal Turing machine, the input embedding encodes a description of the target model while all internal parameters remain fixed. We provide explicit sparse constructions achieving universality when the embedding dimension is sufficiently large, and further show that universality is generic: randomly initialized transformers are universal almost surely, which aligns with recent empirical results of Zhong and Andreas (2024). We empirically validate our theory on the algorithmic tasks of parenthesis balancing and multi-hop reasoning. Our results suggest that much of a transformer's expressive power may reside in its input representation rather than its learned weights.
• Abstract（参考訳）: 与えられたクラス内の任意の変圧器を適切な入力埋め込みによりシミュレートできる固定変圧器について紹介する。 普遍チューリングマシンと類似して、入力埋め込みは、すべての内部パラメータが固定されている間、ターゲットモデルの記述を符号化する。 埋め込み次元が十分に大きいときに普遍性を達成する明示的なスパース構成を提供し、さらに普遍性はジェネリックであることを示す: ランダムに初期化された変換器は、ほぼ確実に普遍的であり、Zhong と Andreas (2024) の最近の経験結果と一致する。 我々は、括弧バランスとマルチホップ推論のアルゴリズム的タスクに関する我々の理論を実証的に検証する。 以上の結果から,変圧器の表現力の大部分は,学習した重みよりも入力表現に留まる可能性が示唆された。

関連論文リスト

• Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
  パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
  論文  参考訳（メタデータ） (2026-05-28T19:58:43Z)
• Counting Like Transformers: Compiling Temporal Counting Logic Into Softmax Transformers [8.908747084128397]
  時間カウントロジックの $textsfK_textt$[#] と RASP の $textsfC-RASP$ を紹介します。 それらが互いに等価であることを示し、それらが結合されていない入力サイズを持つ将来のマスキング型ソフトアテンショントランスの形式的表現性に最もよく知られた下界であることを示す。
  論文  参考訳（メタデータ） (2024-04-05T20:36:30Z)
• Transformers are Expressive, But Are They Expressive Enough for Regression? [38.369337945109855]
  この結果から,トランスフォーマーはスムーズな関数を確実に近似するのに苦労し,分割的に一定間隔の近似に頼っていることがわかった。 これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。
  論文  参考訳（メタデータ） (2024-02-23T18:12:53Z)
• Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
  本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。 提案手法を拡張・結合する新しい手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-02-01T19:47:31Z)
• The Expressive Power of Transformers with Chain of Thought [29.839710738657203]
  実際には、トランスフォーマーは「思考の連鎖」や「スクラッチパッド」を使用することで改善できる。 答えはYESであるが、増加量は中間生成量に大きく依存する。 また, 線形ステップでは, コンテクストに敏感な言語に変換器デコーダを配置することが示唆された。
  論文  参考訳（メタデータ） (2023-10-11T22:35:18Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• A Logic for Expressing Log-Precision Transformers [33.4994300801846]
  本稿では,任意の対数精度変換器を一階述語論理文として等価に表現できることを示す。 これは、最も厳密な既知の上界であり、対数精度変換器の論理的特徴である。
  論文  参考訳（メタデータ） (2022-10-06T04:18:09Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。