Fugu-MT 論文翻訳(概要): Average Attention Transformers and Arithmetic Circuits

論文の概要: Average Attention Transformers and Arithmetic Circuits

arxiv url: http://arxiv.org/abs/2605.04683v1
Date: Wed, 06 May 2026 09:35:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-07 18:41:07.751964
Title: Average Attention Transformers and Arithmetic Circuits
Title（参考訳）: 平均アテンション変換器と算術回路
Abstract要約: エンコーダへの入力として与えられた場合,演算回路をシミュレートするために,平均的なハード・アテンションが利用できることを示す。このようにシミュレートできる回路ファミリは、加算、二乗乗算、符号ゲートを用いて一定の深さを持つ。
参考スコア（独自算出の注目度）: 0.8594140167290097
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We analyse the computational power of transformer encoders as sequence-to-sequence functions on vectors. We show that average hard attention can be used to simulate arithmetic circuits if they are given as an input to an encoder. The circuit families that can be simulated this way have constant depth while using unbounded addition, binary multiplication and sign gates. The transformers we use have arithmetic circuits instead of feed-forward networks. With typical average attention the functions they compute are also computed by the same class of circuit families. Our results hold for transformers over the reals, rationals and any ring in between the two.
Abstract（参考訳）: 変換器エンコーダの計算力をベクトル上のシーケンス・ツー・シーケンス関数として解析する。エンコーダへの入力として与えられた場合,演算回路をシミュレートするために,平均的なハード・アテンションが利用できることを示す。このようにシミュレートできる回路ファミリは、非有界加算、二乗乗算、符号ゲートを用いて一定の深さを持つ。我々が使用する変換器は、フィードフォワードネットワークの代わりに演算回路を備えている。通常の平均的な注意では、それらが計算する関数は同じ種類の回路ファミリによって計算される。我々の結果は、実数、有理数およびこの2つの間の任意の環に対する変換子を保留する。

関連論文リスト

Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
論文参考訳（メタデータ） (2026-05-28T19:58:43Z)
Recurrent Graph Neural Networks and Arithmetic Circuits [3.996231905922229]
本稿では,実数上での演算回路を用いて,繰り返しグラフニューラルネットワーク(GNN)の計算能力の特徴付けを行う。本稿では、逐次回路や論理回路の算術類似体として見ることのできる、逐次演算回路のモデルを紹介する。
論文参考訳（メタデータ） (2026-03-05T13:10:27Z)
Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文参考訳（メタデータ） (2026-01-09T12:49:41Z)
Algorithmic Capabilities of Random Transformers [49.73113518329544]
埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
論文参考訳（メタデータ） (2024-10-06T06:04:23Z)
Transformers, parallel computation, and logarithmic depth [33.659870765923884]
我々は,一定数の自己注意層が,大規模並列計算の通信ラウンドを効率よくシミュレートし,シミュレートできることを示す。
論文参考訳（メタデータ） (2024-02-14T15:54:55Z)
The Expressive Power of Transformers with Chain of Thought [29.839710738657203]
実際には、トランスフォーマーは「思考の連鎖」や「スクラッチパッド」を使用することで改善できる。答えはYESであるが、増加量は中間生成量に大きく依存する。また, 線形ステップでは, コンテクストに敏感な言語に変換器デコーダを配置することが示唆された。
論文参考訳（メタデータ） (2023-10-11T22:35:18Z)
Average-Hard Attention Transformers are Constant-Depth Uniform Threshold Circuits [0.0]
平均的注意力変換器はクラスTC0に該当する言語を認識する。本稿は、第1結果を拡張して均一回路を生成可能であることを示す。
論文参考訳（メタデータ） (2023-08-06T21:23:22Z)
Learning Transformer Programs [78.9509560355733]
設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
論文参考訳（メタデータ） (2023-06-01T20:27:01Z)
Looped Transformers as Programmable Computers [48.00010456819222]
本稿では,トランスフォーマーネットワークを,特定の重みでプログラミングし,ループに配置することで,ユニバーサルコンピュータとして利用するフレームワークを提案する。我々の入力シーケンスは、データ読み書きのための命令とメモリからなるパンチカードとして機能する。この変換器は、入力によって指示され、基本計算器、基本線形代数ライブラリ、およびバックプロパゲーションを用いたコンテキスト内学習アルゴリズムをエミュレートできることを示す。
論文参考訳（メタデータ） (2023-01-30T18:57:31Z)
The Parallelism Tradeoff: Limitations of Log-Precision Transformers [29.716269397142973]
入力トークン数における算術精度が対数的である変換器は、定数深さの対数空間一様しきい値回路でシミュレートできることを示す。これは、複雑性理論の既知の結果を用いた変圧器のパワーに関する洞察を与える。
論文参考訳（メタデータ） (2022-07-02T03:49:34Z)
On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
論文参考訳（メタデータ） (2021-06-30T17:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。