論文の概要: GTFormer: A Syntax-Free Graph Network Alternative to Transformers for 8192$\times$ Length Extrapolation in Linear Time
- arxiv url: http://arxiv.org/abs/2610.37524v1
- Date: Tue, 27 Oct 2026 16:45:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.692725
- Title: GTFormer: A Syntax-Free Graph Network Alternative to Transformers for 8192$\times$ Length Extrapolation in Linear Time
- Title（参考訳）: GTFormer: 8192$\times$longth Extrapolation in Linear Timeのための変換子に代わる構文自由グラフネットワーク
- Abstract要約: この研究は、構文のない階層型グラフニューラルネットワーク(GNN)であるtextbfGTFormerを導入し、一般的な長文モデリングのためのフラットな自己アテンションを置き換える。
GTFormerは、ゼロショットを1つのコモディティGPU上で線形$mathcalO(N)メモリ上で4,194,304ドルに外挿し、標準とRoPEトランスフォーマーがアウト・オブ・ディストリビューションの注意崩壊とメモリ外排気に悩まされる場合、ほぼ完璧な精度を維持する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Self-attention mechanisms have established the Transformer as the dominant backbone across natural language processing, source code intelligence, and automated theorem proving. However, all-to-all pairwise token comparison enforces a quadratic $\mathcal{O}(N^2)$ compute and memory barrier alongside severe softmax attention dilution as sequence length $N$ scales beyond the training horizon. Inspired by recent advances in algebraic graph learning (\textbf{WPNet}), this work introduces \textbf{GTFormer}, a syntax-free hierarchical Graph Neural Network (GNN) that replaces flat self-attention for general long-context sequence modeling. GTFormer organizes raw token streams into a bounded-degree hierarchy combining a balanced binary reduction tree ($\lceil \log_2 N \rceil$ depth), horizontal boundary-bridging shift edges, random expander shortcuts, multi-channel convex highway gating, and a top-down broadcast pass. Across eight long-context code, log, and multi-hop retrieval benchmarks trained exclusively on sequences of length $N \le 512$, GTFormer extrapolates zero-shot to $N = 4{,}194{,}304$ ($8192\times$) on a single commodity GPU in linear $\mathcal{O}(N)$ memory, maintaining near-perfect accuracy where standard and RoPE Transformers suffer from out-of-distribution attention collapse and out-of-memory exhaustion.
- Abstract（参考訳）: 自己注意機構は、自然言語処理、ソースコードインテリジェンス、自動定理証明にまたがる支配的なバックボーンとしてTransformerを確立している。
しかし、全対のトークン比較では、訓練地平線を超えた2次的な$\mathcal{O}(N^2)$計算とメモリバリアと、トレーニング地平線を超えたシーケンス長$N$スケールとして重度のソフトマックスアテンション希釈を強制する。
代数グラフ学習(\textbf{WPNet})の最近の進歩に触発されたこの研究は、構文のない階層型グラフニューラルネットワーク(GNN)である \textbf{GTFormer} を導入する。
GTFormerは、バランスの取れたバイナリリダクションツリー(\lceil \log_2 N \rceil$ depth)、水平境界ブリッジシフトエッジ、ランダム展開ショートカット、マルチチャネル凸ハイウェイゲーティング、トップダウンブロードキャストパスを組み合わせた、生トークンストリームを境界度階層に整理する。
長さ$N \le 512$, GTFormerはゼロショットを$N = 4{,}194{,}304$$$8192\times$)に外挿する。
関連論文リスト
- Solving Sparse SDPs in Sublinear Time: A Classical Algorithm Inspired by the Quantum OR Lemma [70.99943094379263]
有界ラディウス系におけるスパース半定値プログラムに対する最初の準時間古典的解法を与える。
我々の主な技術的貢献は、ハミルトンのギブス状態を同時に表す古典的な手続きである。
論文 参考訳（メタデータ） (2026-09-30T17:51:21Z) - FlashBoB: I/O-Efficient Exact Backward-over-Backward for Softmax Attention [32.3219316154658]
FlashBoBは、ソフトマックスにおけるBoBの正確なI/O効率アルゴリズムである。
これは、1つのA100 80GB GPU上でBoBを$N=262textK$にスケールする。
論文 参考訳（メタデータ） (2026-09-21T04:20:19Z) - Optimal Decay Spectra for Linear Recurrences [6.508284558109273]
PoSTは任意の対角線再帰をオーバーヘッドなく統合する。
Mamba RWKV-7、Gated DeltaNet、Gated Linear Attention、RetNetでインスタンス化します。
論文 参考訳（メタデータ） (2026-04-08T23:54:57Z) - Universal Hirschberg for Width Bounded Dynamic Programs [0.0]
ヒルシュベルクのアルゴリズムは、格子動的プログラム(DP)上の中点二項による$O(N2)$から$O(N)$へ、最も長い共通部分列問題の空間複雑性を減少させる。
我々は、その基礎となるアイデアが、有向非巡回グラフ(DP DAG)に局所的依存を持つ広範な動的プログラムのクラスに一般化されることを示す。
前方シングルパスモデルでは$()$空間項は避けられないことを示し、ストリーミング設定における推測される$sqrtT$-type障壁について議論する。
論文 参考訳（メタデータ） (2025-12-10T22:26:22Z) - Evolution Strategies at the Hyperscale [57.75314521465674]
本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。
ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。
EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
論文 参考訳（メタデータ） (2025-11-20T18:56:05Z) - Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。
ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。
LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
論文 参考訳（メタデータ） (2025-05-27T20:02:59Z) - Lightweight and Interpretable Transformer via Mixed Graph Algorithm Unrolling for Traffic Forecast [28.36772736512295]
我々は、混合グラフに基づく最適化アルゴリズムをアンロールすることで、軽量で解釈可能なトランスフォーマーのようなニューラルネットを構築する。
グラフ学習モジュールを$mathcalGu$と$mathcalGd$に挿入します。
実験により,我々の未登録ネットワークは,最先端の予測スキームとして,競争力のあるトラフィック予測性能を達成することが示された。
論文 参考訳（メタデータ） (2025-05-19T13:32:34Z) - Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。
平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
論文 参考訳（メタデータ） (2025-04-28T16:58:55Z) - TCNCA: Temporal Convolution Network with Chunked Attention for Scalable
Sequence Processing [52.64837396100988]
MEGAは最近のトランスフォーマーベースのアーキテクチャで、線形リカレント演算子を使用し、並列計算はFFTに基づいて、$O(LlogL)$で、$L$はシーケンス長である。
線形再帰を特別な時間的畳み込みネットワークに置き換えることで、より浅いネットワークでより大きい受容場を許容し、計算複雑性を$O(L)$に減らし、それらのアプローチを構築する。
我々は,EnWik8言語モデリングにおけるTCNCA,LRA(Long-range-arena)シーケンス分類,および合成推論ベンチマーク連想リコールの評価を行った。
論文 参考訳（メタデータ） (2023-12-09T16:12:25Z) - $O(n)$ Connections are Expressive Enough: Universal Approximability of
Sparse Transformers [71.31712741938837]
注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。
また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
論文 参考訳（メタデータ） (2020-06-08T18:30:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。