論文の概要: Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers

• arxiv url: http://arxiv.org/abs/2610.13735v1
• Date: Fri, 09 Oct 2026 15:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.654254
• Title: Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
• Title（参考訳）: Orthros: 効率的な変圧器のための相認識不均一注意
• Abstract要約: 我々はOrthrosアテンションを導入し、効率パラダイムを構造的アロケーションから位相対応デカップリングにシフトする。 統一モジュールとして、列処理の異なるフェーズにまたがる計算パターンを切り替え、線形複雑性プリフィルとフルアテンションデコーディングを可能にする。 我々の設計は、一般的な長期コンテキストシナリオにおけるバニラトランスフォーマーに比べて、Orthrosの注意を低い複雑さにします。
• 参考スコア（独自算出の注目度）: 20.120670353947016
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Efficient attention mechanisms, such as linear and sliding window attention, aim to reduce the computational complexity of Transformers from quadratic to linear. However, their degraded in-context recall often necessitates interleaving full attention layers, leaving the quadratic bottleneck unresolved in long-context processing. To address this, we introduce Orthros attention, which shifts the efficiency paradigm from structural allocation to phase-aware decoupling. As a unified module, it dynamically switches its computation pattern across different phases of sequence processing, enabling linear complexity prefilling and full attention decoding. Our design grants Orthros attention a lower asymptotic complexity compared to vanilla Transformers in prevalent long-context scenarios characterized by heavy prefilling and light decoding. Beyond theoretical formulation and complexity analysis, extensive empirical evaluations demonstrate Orthros's superiority across multiple dimensions. First, we validate its fundamental language modeling capabilities, demonstrating scalability across varying model sizes and strong competitiveness in comprehensive architectural comparisons. Second, Orthros exhibits exceptional conversion feasibility via a data-efficient Transformer-to-Orthros conversion, yielding performance that even surpasses the original Transformer. Finally, Orthros achieves a $21.9\times$ prefilling speedup over Transformers with end-to-end inference gains, while preserving long-context capabilities, as demonstrated by near-perfect 128K needle-in-a-haystack results and Transformer-level performance on real-world in-context recall tasks. Overall, these advantages in high performance, flexibility, and efficiency position Orthros as a promising candidate to succeed the Transformer in industrial applications.
• Abstract（参考訳）: 線形およびスライディングウィンドウアテンションのような効率的な注意機構は、トランスフォーマーの計算複雑性を2次から線形に減らすことを目的としている。 しかし、その劣化したコンテキスト内リコールは、長いコンテキスト処理において二次的ボトルネックを未解決のまま残し、完全な注意層をインターリーブする必要があることが多い。 これを解決するためにOrthros attentionを導入し、効率パラダイムを構造的アロケーションから位相認識のデカップリングにシフトする。 統一モジュールとして、列処理の異なるフェーズにまたがる計算パターンを動的に切り替え、線形複雑性プリフィルとフルアテンションデコーディングを可能にする。 我々の設計は、重度プリフィルと光復号を特徴とする長文シナリオにおけるバニラ変圧器と比較して、Orthrosの注目度を低下させる。 理論的な定式化と複雑性解析の他に、大規模な経験的評価は、オーロスの複数の次元における優越性を証明している。 まず、その基本的な言語モデリング機能を評価し、様々なモデルサイズにまたがるスケーラビリティと包括的なアーキテクチャ比較における強力な競争力を実証する。 第二に、Orthrosはデータ効率のよいTransformer-to-Orthros変換を通じて、例外的な変換実現性を示し、元のTransformerを超えている。 最後に、Orthrosは、エンド・ツー・エンドの推論ゲインを持つトランスフォーマー上のスピードアップを211.9ドルでプリフィルすると同時に、ほぼ完璧な128Kのニードル・ア・ヘイスタック結果と現実世界のイン・コンテクスト・リコールタスクにおけるトランスフォーマーレベルのパフォーマンスで示されるように、長文の能力を保っている。 全体として、これらの利点は高い性能、柔軟性、効率性においてOrthrosを産業アプリケーションでTransformerを継承する有望な候補として位置づけている。

関連論文リスト

• Ghost in the Kernel: In-Context Learning with Efficient Transformers via Domain Generalization [17.68725202024536]
  トランスフォーマーに基づく大規模モデルは、様々なタスクにまたがる顕著な一般化能力を示している。 よりリッチなコンテキストでは、トランスフォーマーはパラメータを更新せずに現在のユースケースにより効果的に適応する。 しかし、文脈長に関する二次計算とメモリの複雑さは、ソフトマックス変換器のデータ処理を著しく遅くする。
  論文  参考訳（メタデータ） (2026-07-01T06:03:14Z)
• Generalization Analysis of Transformers in Distribution Regression [17.68725202024536]
  本稿ではトランスフォーマーとその関連技術の背後にあるメカニズムについて考察する。 注意演算子により、変換器は情報を失うことなく分布を関数表現に圧縮できることを示す。 新たなアテンション演算子の利点により、Transformersは畳み込みニューラルネットワークや完全に接続されたネットワークよりも複雑な構造を持つ関数を学ぶことができる。
  論文  参考訳（メタデータ） (2026-06-28T07:54:50Z)
• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• On the Optimization and Generalization of Two-layer Transformers with Sign Gradient Descent [51.50999191584981]
  Sign Gradient Descent (SignGD) はアダムの効果的なサロゲートである。 我々はSignGDが雑音の多いデータセット上で2層トランスを最適化する方法について検討する。 SignGDの一般化が不十分なのはデータノイズによるものではなく、SignGDとAdamの両方が現実世界のタスクに高品質なデータを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2024-10-07T09:36:43Z)
• Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory [11.3128832831327]
  Transformerのサイズが大きくなると、パフォーマンスが向上するとは限らない。 本稿では,変圧器を用いた言語モデルの事前学習において,記憶に光を当てる理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-14T15:48:36Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。