論文の概要: Structured-Sparse Attention for Entity Tracking with Subquadratic Sequence Complexity

• arxiv url: http://arxiv.org/abs/2605.22476v1
• Date: Thu, 21 May 2026 13:35:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.276084
• Title: Structured-Sparse Attention for Entity Tracking with Subquadratic Sequence Complexity
• Title（参考訳）: サブクアクラティックシーケンスの複雑度を考慮したエンティティ追跡のための構造化スパースアテンション
• Authors: Hangyue Zhao, Paul Caillon, Erwan Fagnou, Alexandre Allauzen,
• Abstract要約: また, 大部分の質量は, 光遮断残余を有する局所ブロック対角近傍に集中していることが示唆された。 ブロック内相互作用を正確に保ち、還元されたシステムを介してブロック間相互作用を経路するリゾルペント型演算子のブロックワイズ評価を導出する。 本手法は,高密度演算子の精度に一致し,標準化された測定プロトコルの下で壁面時間を12～29%削減する。
• 参考スコア（独自算出の注目度）: 45.829192030010006
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Entity tracking requires maintaining and updating latent states for entities and attributes over long sequences. Recent task-specific attention operators can compress deep Transformer stacks into a few layers by performing multi-hop state propagation within a single layer, but their dense evaluation remains expensive. We show that in this setting, learned attention is strongly structured: most mass concentrates in local block-diagonal neighborhoods with a light cross-block residue. Exploiting this, we derive a blockwise evaluation of a resolvent-style operator that keeps within-block interactions exact and routes cross-block interactions through a reduced system. The resulting evaluation is subquadratic in sequence length $O(n^{4/3}d)$ (and $O(n^{7/3})$ when $d\approx n$). On controlled tracking benchmarks, our method matches the dense operator's accuracy while reducing wall-clock time by $12-29\%$ under a standardized measurement protocol, and is up to $2.4 \times$ faster than a compact dense Transformer at comparable exact-match accuracy. We further provide ablations over block size and model capacity, and identify a limitation: performance collapses when the number of simultaneously evolving properties exceeds the number of attention heads.
• Abstract（参考訳）: エンティティのトラッキングには、長いシーケンスでエンティティと属性の潜在状態の維持と更新が必要である。 近年のタスク固有のアテンション演算子は,マルチホップ状態の伝搬を単一層内で行うことで,深層トランスフォーマースタックを数層に圧縮することができるが,その高密度評価は依然として高価である。 この環境では、学習された注意は強く構造化されており、ほとんどの質量は、軽量なクロスブロック残基を持つ局所ブロック対角近傍に集中している。 これを実行すると、ブロック内相互作用を正確に保持し、還元されたシステムを介してクロスブロック相互作用をルーティングするリゾルペント型演算子のブロックワイズ評価を導出する。 結果として得られる評価は、シーケンス長$O(n^{4/3}d)$(および$O(n^{7/3})$)$d\approx n$のときのサブクアセラティックである。 制御された追跡ベンチマークでは, 壁面温度を基準として, 壁面温度を12～29.%削減し, 高精度かつコンパクトな高密度トランスフォーマーよりも最大2.4 \times$の精度を実現した。 さらにブロックサイズとモデルキャパシティの短縮を提供し、同時に進化するプロパティの数が注目ヘッド数を超えると性能が崩壊する、という制限を識別する。

関連論文リスト

• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• Topology-Aware Block Coordinate Descent for Qubit Frequency Calibration of Superconducting Quantum Processors [9.256953420444077]
  プリエグゼクティオン校正は、量子プロセッサを操作する上で大きなボトルネックとなる。 Snake SequenceはBlock Coordinate Descent(BCD)と等価であることを示す。 これらの結果は、NISQ-eraプロセッサ上での周波数キャリブレーションのためのスケーラブルで実装可能なワークフローを提供する。
  論文  参考訳（メタデータ） (2026-01-15T09:09:36Z)
• Adaptive t Design Dummy-Gate Obfuscation for Cryogenic Scale Enforcement [0.0]
  クラウド量子サービスは、スケジューラメタデータ、レイテンシパターン、共テナント干渉を通じて、回路構造とタイミングを明らかにすることができる。 我々は,ゲートモデルワークロードの運用上のプライバシを強制するスケジューリングおよび難読化スタックであるNADGOを紹介する。 低温CMOS制御による4キュービット超伝導タイルの試作を行い,深度可変ローカルランダム回路と小型QAOAインスタンスの両特性について検討した。
  論文  参考訳（メタデータ） (2025-08-31T12:12:48Z)
• AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity [9.63873831179673]
  拡張コンテキスト長を持つ大規模言語モデル(LLM)は、事前充足フェーズにおいて重大な計算上の課題に直面します。 重要な注意領域を効率よく識別する,差認識型動的スパースアテンション機構である textbfAnchorAttention を提案する。 textbfAnchorAttentionは、粒度の細かいスペーシング戦略により、同じリコールレベルでより高いスペーサ率を実現し、計算時間を著しく短縮する。
  論文  参考訳（メタデータ） (2025-05-29T14:59:06Z)
• Treeformer: Dense Gradient Trees for Efficient Attention Computation [24.045251327736814]
  カーネルを用いて注目度、低ランク、近似などの異なる注意構造を強制することにより、注意計算を高速化する方法を示す。 このような階層的なナビゲーションに基づいて、TF-AttentionとTC-Attentionという2つの効率的な注意層のうちの1つを使用できるTreeformerを設計する。 注意層に30倍少ないFLOPを使用しながら,私たちのTreeformerアーキテクチャはベースライントランスフォーマーとほぼ同等の精度で動作可能であることを実証した。
  論文  参考訳（メタデータ） (2022-08-18T18:31:40Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• Poly-NL: Linear Complexity Non-local Layers with Polynomials [76.21832434001759]
  性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。 The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
  論文  参考訳（メタデータ） (2021-07-06T19:51:37Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。