論文の概要: Rethinking Transformer Connectivity: TLinFormer, A Path to Exact, Full Context-Aware Linear Attention

• arxiv url: http://arxiv.org/abs/2508.20407v1
• Date: Thu, 28 Aug 2025 04:10:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.987662
• Title: Rethinking Transformer Connectivity: TLinFormer, A Path to Exact, Full Context-Aware Linear Attention
• Title（参考訳）: Transformer Connectivityを再考する: TLinFormer
• Authors: Zhongpan Tang,
• Abstract要約: 本稿では,新しいリニアアテンションアーキテクチャ-textbfTLinFormerを提案する。 ニューロン接続パターンを再構成することにより、TLinFormerは正確な注意スコアを計算しながら厳密な線形複雑性を実現する。 TLinFormerは,textbfinference遅延, textbfKVキャッシュ効率, textbfMemoryフットプリントといった重要な指標において,圧倒的な優位性を示すことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Transformer architecture has become a cornerstone of modern artificial intelligence, but its core self-attention mechanism suffers from a complexity bottleneck that scales quadratically with sequence length, severely limiting its application in long-sequence tasks. To address this challenge, existing linear attention methods typically sacrifice model performance by relying on data-agnostic kernel approximations or restrictive context selection. This paper returns to the first principles of connectionism, starting from the topological structure of information flow, to introduce a novel linear attention architecture-\textbf{TLinFormer}. By reconfiguring neuron connection patterns, TLinFormer achieves strict linear complexity while computing exact attention scores and ensuring information flow remains aware of the full historical context. This design aims to bridge the performance gap prevalent between existing efficient attention methods and standard attention. Through a series of experiments, we systematically evaluate the performance of TLinFormer against a standard Transformer baseline on long-sequence inference tasks. The results demonstrate that TLinFormer exhibits overwhelming advantages in key metrics such as \textbf{inference latency}, \textbf{KV cache efficiency}, \textbf{memory footprint}, and \textbf{overall speedup}.
• Abstract（参考訳）: Transformerアーキテクチャは現代の人工知能の基盤となっているが、その中核となる自己認識メカニズムは、シーケンス長と4次スケールの複雑さのボトルネックに悩まされており、長いシーケンスタスクにおけるその適用を著しく制限している。 この課題に対処するために、既存の線形アテンション手法は、データに依存しないカーネル近似や制約付きコンテキスト選択に頼ることによって、モデル性能を犠牲にするのが一般的である。 本稿では,情報フローのトポロジカル構造から始まるコネクショナリズムの第一原理に回帰し,新しい線形アテンションアーキテクチャー-\textbf{TLinFormer}を導入する。 ニューロン接続パターンを再構成することにより、TLinFormerは厳密な線形複雑性を実現し、正確な注意スコアを計算し、情報フローが完全な歴史的文脈を意識し続けることを保証する。 この設計は、既存の効率的な注意法と標準的な注意法の間の性能ギャップを埋めることを目的としている。 本研究では,TLinFormerの性能を,時系列推論タスクにおける標準Transformerベースラインに対して体系的に評価する。 その結果、TLinFormerは、‘textbf{inference latency}’、‘textbf{KV cache efficiency}’、‘textbf{ footprint}’、‘textbf{overall speedup}’といった主要なメトリクスにおいて、圧倒的なアドバンテージを示すことがわかった。

関連論文リスト

• Log-Linear Attention [81.09631871212211]
  本稿では,線形注意の効率とソフトマックス注意の表現性をバランスさせる注意機構である対数線形注意を開発する。 特定の成長関数を用いて、対数線形アテンションは、計算コストが列長で対数線形である類似のマトゥルリッチ並列形式を許容することを示す。 ログ線形アテンションは一般的なフレームワークであり、既存の線形アテンションのバリエーションの上に適用することができる。
  論文  参考訳（メタデータ） (2025-06-05T08:44:51Z)
• Accurate and Efficient Multivariate Time Series Forecasting via Offline Clustering [22.545533166145706]
  セグメンツ(FOCUS)を用いたオフラインクラスタリングによるフォアキャスタの導入 FOCUSは、長距離依存性モデリングを単純化するMTS予測の新しいアプローチである。 最先端の精度を実現し、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-05-09T02:34:06Z)
• Towards Transformer-Based Aligned Generation with Self-Coherence Guidance [51.42269790543461]
  トランスフォーマーを用いたテキストガイド拡散モデル(TGDM)におけるアライメント向上のためのトレーニング不要アプローチを提案する。 既存のTGDMは、特に複雑なテキストプロンプトやマルチコンセプト属性バインディングの問題を扱う場合、意味的に整合した画像を生成するのに苦労することが多い。 本手法は,生成過程において,相互注意マップを直接最適化することにより,これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-03-22T07:03:57Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Folded Context Condensation in Path Integral Formalism for Infinite Context Transformers [0.0]
  本稿では、パス積分形式論の枠組みの中で、そのコアメカニズムを再解釈することにより、トランスフォーマーアルゴリズムの一般化された定式化を提案する。 よりコンパクトで効率的な表現が得られ、シーケンスのコンテキスト情報をメモリのようなセグメントに凝縮する。 本稿では,この手法の有効性をPasskey検索タスクと要約タスクで検証し,提案手法が履歴情報を保存し,メモリ使用率とシーケンス長を線形に拡張することを示す。
  論文  参考訳（メタデータ） (2024-05-07T19:05:26Z)
• FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
  線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。 現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。 本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:37:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。