論文の概要: Infinite Self-Attention

• arxiv url: http://arxiv.org/abs/2603.00175v1
• Date: Thu, 26 Feb 2026 18:34:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.082873
• Title: Infinite Self-Attention
• Title（参考訳）: 無限自己注意(Infinite Self-Attention)
• Authors: Giorgio Roffo,
• Abstract要約: Infinite Self-Attention (InfSA) は、各注意層をコンテンツ適応トークングラフ上の拡散ステップとして扱うスペクトル再構成である。 次に、全注目行列を形成することなく、暗黙の注意演算子の主固有ベクトルを近似する線形時変であるLinear-InfSAを提案する。 4層 ViT (53.5M パラメータ、59 GFLOPs at 224 by 224) では、Linear-InfSA は ImageNet-1K で84.7% に到達し、同じ深さのソフトマックス ViT に対して +3.2 点のアーキテクチャゲインを得た。
• 参考スコア（独自算出の注目度）: 0.3384279376065155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quadratic cost of softmax attention limits Transformer scalability in high-resolution vision. We introduce Infinite Self-Attention (InfSA), a spectral reformulation that treats each attention layer as a diffusion step on a content-adaptive token graph, accumulating multi-hop interactions through a discounted Neumann series over attention matrices. This links self-attention to classical graph centrality (Katz, PageRank, eigenvector centrality) for interpretable token weighting. We also show the Neumann kernel equals the fundamental matrix of an absorbing Markov chain, so a token's centrality is its expected number of random-walk visits before absorption. We then propose Linear-InfSA, a linear-time variant that approximates the principal eigenvector of the implicit attention operator without forming the full attention matrix. It keeps an auxiliary state of fixed size proportional to per-head dimension dh (independent of sequence length N), is drop-in compatible with Vision Transformers, and supports stable training at 4096 by 4096 and inference at 9216 by 9216 (about 332k tokens). In a 4-layer ViT (53.5M parameters, 59 GFLOPs at 224 by 224), Linear-InfSA reaches 84.7% top-1 on ImageNet-1K, a +3.2 point architectural gain over an equal-depth softmax ViT trained with the same recipe. On ImageNet-V2, InfViT variants outperform all compared baselines (up to 79.8% vs 76.8%), indicating robustness under distribution shift. On an A100 40GB GPU, Linear-InfViT runs at 231 images/s and 0.87 J/image (13x better throughput and energy than equal-depth ViT) and is the only tested model to complete 9216 by 9216 inference without out-of-memory. The linear approximation closely matches the dominant eigenvector of the quadratic operator (cosine 0.985).
• Abstract（参考訳）: ソフトマックスアテンションの二次コストは、高解像度ビジョンにおけるトランスフォーマーのスケーラビリティを制限する。 Infinite Self-Attention (InfSA) は、各アテンション層をコンテンツ適応トークングラフ上の拡散ステップとして扱い、アテンション行列上の割引されたノイマン級数を介してマルチホップ相互作用を蓄積するスペクトル再構成である。 このことは、解釈可能なトークン重み付けのために古典グラフ中心性(Katz, PageRank, eigenvector centrality)に自己注意を関連付ける。 また、ノイマン核が吸収マルコフ連鎖の基本行列と等しいことを示すので、トークンの中央性はその吸収前のランダムウォーク訪問数である。 次に、全注目行列を形成することなく、暗黙の注意演算子の主固有ベクトルを近似する線形時変であるLinear-InfSAを提案する。 ヘッド単位の次元 dh に比例する固定サイズ(シーケンス長 N に依存しない)の補助状態を保持し、ビジョントランスフォーマーと非互換であり、4096年4096年安定したトレーニングをサポートし、9216年9216年(約332kトークン)の推論をサポートする。 4層 ViT (53.5Mパラメータ、59 GFLOPs at 224 x 224) では、Linear-InfSA は ImageNet-1K で84.7% に達し、同じレシピで訓練された同じ深さのソフトマックス ViT よりも+3.2 ポイントのアーキテクチャ上の利益を得た。 ImageNet-V2では、InfViTはすべてのベースライン(79.8%対76.8%)を上回り、分布シフト時の堅牢性を示している。 A100 40GBのGPUでは、Linear-InfViTは231のイメージ/sと0.87のJ/imageで動作し、メモリ外で9216の推論を完了させる唯一のテストモデルである。 線形近似は二次作用素 (cosine 0.985) の優越固有ベクトルと密接に一致する。

関連論文リスト

• LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
  連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。 このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。 LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
  論文  参考訳（メタデータ） (2026-01-30T06:44:33Z)
• Octic Vision Transformers: Quicker ViTs Through Equivariance [29.044546222577804]
  我々は幾何学的対称性を捉えるためにOctic Vision Transformer (octic ViTs)を導入する。 われわれの八面体線形層はFLOPの5.33倍、メモリの8倍の低減を実現している。 我々は ImageNet-1K 上で octic ViT (DeiT-III) と unsupervised (DINOv2) を訓練する。
  論文  参考訳（メタデータ） (2025-05-21T12:22:53Z)
• The Linear Attention Resurrection in Vision Transformer [0.6798775532273751]
  ビジョントランスフォーマー(ViT)は最近、コンピュータビジョンを嵐によって捉えた。 ViTsの基盤となるソフトマックスの注目は、時間とメモリの2次的な複雑さを伴い、高解像度画像へのViTsの適用を妨げる。 本稿では,この制限に対処する線形アテンション手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T16:29:17Z)
• Gated Linear Attention Transformers with Hardware-Efficient Training [60.670102007737476]
  本研究は、並列化性に対してメモリ移動をオフにする線形注意のためのハードウェア効率のアルゴリズムについて述べる。 次に、このアルゴリズムを、データ依存ゲートを用いたより表現力豊かな線形アテンションに一般化する。 変圧器の標準アテンション層に代えて使用すると、結果として生じるゲート状リニアアテンショントランスが競合的に動作することが分かる。
  論文  参考訳（メタデータ） (2023-12-11T18:51:59Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• KrADagrad: Kronecker Approximation-Domination Gradient Preconditioned Stochastic Optimization [69.47358238222586]
  第2の順序付けにより、パラメータのステップサイズと方向を変更でき、損失曲率に適応できる。 最近、シャンプーはこれらの要求を減らすためにクローネッカーファクター付きプレコンディショナーを導入した。 不条件行列の逆行列根を取る。 これは64ビットの精度が必要で、ハードウェアの制約が強い。
  論文  参考訳（メタデータ） (2023-05-30T21:15:45Z)
• Self-Supervised Learning based on Heat Equation [75.61974935666446]
  本稿では,熱方程式を高次元特徴空間に拡張した自己教師型学習の新たな視点を提案する。 我々は x と y の軸を 2 つの一階線型微分方程式として分割することで単純化する。 これにより、QB-Heatと呼ばれる非常に単純なマスク付き画像モデリング(MIM)手法が導入された。
  論文  参考訳（メタデータ） (2022-11-23T18:59:59Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• cosFormer: Rethinking Softmax in Attention [60.557869510885205]
  カーネルメソッドは、ソフトマックス演算子を近似することで複雑さを減らすためにしばしば採用される。 近似誤差のため、それらのパフォーマンスは異なるタスク/コーパスで異なり、重要なパフォーマンス低下を被る。 本稿では,バニラ変圧器に匹敵する精度を達成できる,cosFormerと呼ばれる線形変圧器を提案する。
  論文  参考訳（メタデータ） (2022-02-17T17:53:48Z)
• Sinkformers: Transformers with Doubly Stochastic Attention [22.32840998053339]
  我々はシンクホルンのアルゴリズムを用いて注意行列を2倍にし、その結果のモデルをシンクフォーマと呼ぶ。 実験面では、Sinkformersは視覚および自然言語処理タスクにおけるモデルの精度を向上させる。 重要なのは、3D形状の分類において、シンクフォーマーは顕著な改善をもたらすことである。
  論文  参考訳（メタデータ） (2021-10-22T13:25:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。