論文の概要: Transformers as Generic Deep Neural Networks: Exact Compilation, the Cost of Removing Activation-Activation Products, and Multi-Agent Attention Clustering

• arxiv url: http://arxiv.org/abs/2610.28958v1
• Date: Tue, 20 Oct 2026 22:16:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.15379
• Title: Transformers as Generic Deep Neural Networks: Exact Compilation, the Cost of Removing Activation-Activation Products, and Multi-Agent Attention Clustering
• Title（参考訳）: 汎用ディープニューラルネットワークとしてのトランスフォーマー:実行コンパイル、アクティベーションアクティベーション製品除去コスト、マルチエージェントアテンションクラスタリング
• Abstract要約: トランスフォーマーは特別なモデルクラスとしてデプロイされる。 計算がこれを強制しないことを示す。 DeiT-Tiny、MambaIRv2-Light、Pythia-70Mでは、コンパイルされたモデルは、すべてのキーとの参照と一致し、標準のポストトレーニング量子化が適用され、正確なテール質量推定は、DeiT-TinyとPythia-70Mのキーの半分、そして$kle8$でテールを下げる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transformers are deployed as a special model class. Neural processing units (NPU) add dedicated operators for attention and normalization, and quantization relies on Transformer-specific algorithms. We show the computation does not force this. Every Transformer block, with attention, LayerNorm and a GELU MLP, compiles exactly into a generic deep neural network built from fixed affine maps, routing and the square, sigmoid and inverse square root, plus GELU or its sigmoid approximation. Without activation-activation products, every transform-wise compilation adds at least $N^2$ scalar nonlinear evaluations per head for dense scores. Keeping that one operation type removes this cost; its elementwise form, present on every surveyed NPU, suffices with the sigmoid and inverse square root. For top-$k$ attention with exchangeable tail scores, we prove that exact or conditional-mean tail mass gives an unbiased, minimum-mean-square-error estimate of the attention distribution, while tail drop is conditionally biased. When queries or agents cluster, centroids choose the keys first, reducing the number of computed scores from $N^2$ to $Nk$ per head. On DeiT-Tiny, MambaIRv2-Light and Pythia-70M the compiled models match their references with all keys, standard post-training quantization applies, and the exact tail-mass estimate beats tail dropping with half as many keys on DeiT-Tiny and, for $k\le8$, on Pythia-70M.
• Abstract（参考訳）: トランスフォーマーは特別なモデルクラスとしてデプロイされる。 ニューラル処理ユニット(NPU)は注意と正規化のための専用演算子を追加し、量子化はTransformer固有のアルゴリズムに依存する。 計算がこれを強制しないことを示す。 注意を払って、すべてのTransformerブロック、LayerNormとGELU MLPは、固定アフィンマップ、ルーティング、正方形、正方形、逆二乗根、GELUまたはそのシグモイド近似から構築された一般的なディープニューラルネットワークに正確にコンパイルされる。 活性化活性化生成物がなければ、全ての変換的コンパイルは、高密度スコアに対して少なくともN^2$のスカラー非線形評価を加える。 1つの操作タイプを維持することで、このコストが削減される。その要素的形式は、調査されたすべてのNPUに存在し、シグモイドと逆正方根で十分である。 交換可能なテールスコアを持つトップ$kの注目に対して、テールドロップが条件に偏りがある一方で、正確なまたは条件付き平均テール質量がアテンション分布のバイアスのない最小2乗誤差推定を与えることを証明します。 クエリやエージェントがクラスタ化されると、Centroidは最初にキーを選択し、計算されたスコアの数を1頭あたり$N^2$から$Nk$に減らす。 DeiT-Tiny、MambaIRv2-Light、Pythia-70Mでは、コンパイルされたモデルが参照とすべてのキーと一致し、標準のポストトレーニング量子化が適用される。

関連論文リスト

• SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
  凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。 本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。 各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
  論文  参考訳（メタデータ） (2026-09-29T09:38:29Z)
• Clebsch-Gordan Transformer: Fast and Global Equivariant Attention [19.720202550140325]
  我々はClebsch-Gordon Transformerを提案し、新しいClebsch-Gordon Convolutionを$SO(3)$の既約表現で実現した。 提案手法は,O(N log N)$入力トークンの複雑さを達成しつつ,任意の順序で特徴の同変モデリングを可能にする。 提案手法は,n体シミュレーション,QM9,ModelNet点クラウド分類,ロボットによる把握データセットなど,さまざまなベンチマークでベンチマークを行う。
  論文  参考訳（メタデータ） (2025-09-28T22:09:36Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Segmented Recurrent Transformer: An Efficient Sequence-to-Sequence Model [10.473819332984005]
  分割された(局所的な)注意と再帰的な注意を結合した分節再帰変圧器(SRformer)を提案する。 提案モデルでは,分割変圧器よりも高いROUGE1スコアを6-22%で達成し,他の再帰変圧器よりも優れている。
  論文  参考訳（メタデータ） (2023-05-24T03:47:22Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• SCA-Net: A Self-Correcting Two-Layer Autoencoder for Hyper-spectral Unmixing [3.918940900258555]
  本研究では,2層オートエンコーダ(SCA-Net)が,従来報告されていた値から10～5ドル程度のスケールの誤差測定値を実現することを示す。 また、両直交表現に基づくSCA-Netは、エンドメンバー数が過剰に指定された場合に自己補正を行うことを示す。
  論文  参考訳（メタデータ） (2021-02-10T19:37:52Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。