論文の概要: The Query Knows What to Forget: A Second Erase Direction for Linear Attention

• arxiv url: http://arxiv.org/abs/2608.13668v1
• Date: Thu, 13 Aug 2026 18:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.182138
• Title: The Query Knows What to Forget: A Second Erase Direction for Linear Attention
• Title（参考訳）: クエリは何を予測すべきかを知っている:リニアアテンションのための第2の退行方向
• Abstract要約: Gated DeltaNet-2 (GDN-2) は、すべてのデルタルールモデルと同様に、現在のトークンのキーから消去ベクトルを導出する。 クエリ由来のErase Direction(QED)を紹介します。 S-NIAH-1で使用可能なコンテキスト長を約2倍に向上する。
• 参考スコア（独自算出の注目度）: 4.500637354443275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear attention keeps a state of fixed size. At long context, many stored items share this state, and interference between them degrades retrieval. Gated DeltaNet-2 (GDN-2), like every delta-rule model before it, derives its erase vector from the key of the current token. However, the interference in its reads is measured through the query, and the erase step cannot reach it. We introduce the Query-derived Erase Direction (QED). QED adds a second erase direction derived from the query and orthogonal to the key. In the fast-weight view, a key-directed delta edit cannot change the key-orthogonal part of a read. It uses the editable part to cancel old-state content measured along the query. It also improves retrieval at every length past the training window, and it about doubles the usable context length on S-NIAH-1.
• Abstract（参考訳）: 線形注意は一定の大きさの状態を保っている。 長いコンテキストでは、多くの格納されたアイテムがこの状態を共有し、それらの間の干渉は検索を劣化させる。 Gated DeltaNet-2 (GDN-2) は、すべてのデルタルールモデルと同様に、現在のトークンのキーから消去ベクトルを導出する。 しかし、その読み込みにおける干渉はクエリを通して測定され、消去ステップはそれに到達することができない。 本稿では,クエリ由来のErase Direction(QED)を紹介する。 QEDはクエリから派生した第2の消去方向をキーに追加し、直交する。 高速なビューでは、キー指向デルタ編集はリードのキー直交部分を変更することができない。 編集可能な部分を使用して、クエリに沿って測定された古い状態のコンテンツをキャンセルする。 また、トレーニングウィンドウを過ぎるごとに検索を改善し、S-NIAH-1上で使用可能なコンテキスト長を約2倍にする。

関連論文リスト

• Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention [61.96880087320455]
  Delta-ruleリニアアテンションは、現在の書き込みアドレスに保存されているものを修正することで、リカレントメモリ更新を改善する。 本稿では,Erase-then-Delta Attention (EDA)を提案する。
  論文  参考訳（メタデータ） (2026-06-25T03:12:19Z)
• Don't Read Everything: A Curvature-Conditioned Query for Linear Attention [42.02790959450039]
  リニアアテンションは、繰り返し発生する高速な状態を維持することでソフトマックスアテンションの二次コストを低減する。 既存のリメディエーションは、ゲーティング、デルタ更新、カーネル機能マップを通じて、メモリの書き込み側に作用する。 我々は、より安価なクエリの読み取り時間縮約を構築するために、Softmaxの幾何学の特定の部分を借りる。 このメカニズムを Curvature-Conditioned Query (CCQ) と呼ぶ。 S-NIAHはトレーニングコンテキストの前後でのパープレキシティ、ゼロショットダウンストリーム精度、S-NIAH検索、4Kから20Kまでの長さのパープレキシティ、Longを改善する
  論文  参考訳（メタデータ） (2026-05-31T15:25:42Z)
• Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention [81.79922329750674]
  リニアアテンションは、ソフトマックスアテンションのキャッシュを固定サイズのリカレント状態に置き換え、シーケンシャルミキシングを線形時間に短縮し、定メモリに復号する。 我々はGated DeltaNet-2を紹介し、Gated DeltaNetとKim Delta Attentionの両方を一般化する。 Gated DeltaNet-2は、言語モデリング、常識推論、検索にまたがるMamba Gated DeltaNet、KDA、Mamba-3の変種の中で、最も優れた総合的な結果を得る。
  論文  参考訳（メタデータ） (2026-05-21T17:44:57Z)
• HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing [12.303016850029683]
  大規模言語モデルは、展開後に必然的に時代遅れになる膨大な事実知識を符号化する。 1行の作業は、ロケーション・then-edit手順を通じてベースウェイトを直接変更することで、新しい事実をインストールする。 補完ラインはベースウェイトをそのまま残し、外部メモリを通して編集をルーティングするが、ルーティングの課題に直面している。 提案するHoReNは,3つのアイデアに基づいたルーティング機能を備えたコードブックベースのエディタである。
  論文  参考訳（メタデータ） (2026-05-02T15:51:31Z)
• Residual Stream Duality in Modern Transformer Architectures [9.910562011343009]
  最近の研究により、残留経路は単なる最適化配管ではなく、モデルの表現機械の一部であることが明らかになった。 このデザイン空間を整理する最もクリーンな方法は、Transformerの2軸ビューである、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-03-17T00:56:29Z)
• TRA: Better Length Generalisation with Threshold Relative Attention [58.64717643300818]
  トランスフォーマーは長さの一般化に苦慮し、基本的なタスクでも性能が劣っている。 これらの制限が自己認識機構の2つの重要な障害によって説明できるかどうかを検証する。 これらの2つの緩和による注意機構がデコーダのみの変換器の一般化能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-29T18:06:28Z)
• Attention Map Guided Transformer Pruning for Edge Device [98.42178656762114]
  視覚トランスフォーマー (ViT) は, 全体的かつ隠蔽された人物再識別 (Re-ID) タスクにおいて, 有望な成功を収めた。 本稿では、冗長なトークンとヘッドの両方を除去する新しいアテンションマップガイド(AMG)トランスフォーマープルーニング法を提案する。 Occluded DukeMTMC と Market-1501 に関する総合的な実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-04-04T01:51:53Z)
• Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
  本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。 我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-24T11:37:22Z)
• On the Arbitrary-Oriented Object Detection: Classification based Approaches Revisited [94.5455251250471]
  まず,既存の回帰型回転検出器が抱える境界問題は,角周期性や角秩序によって引き起こされることを示した。 我々は、角予測タスクを回帰問題から分類問題に変換する。 得られた円形分布角分類問題に対して、まず、角度の周期性に対処し、隣り合う角度に対する誤差耐性を高めるために、円スムースラベル法を考案する。
  論文  参考訳（メタデータ） (2020-03-12T03:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。