論文の概要: First Passage Attention

• arxiv url: http://arxiv.org/abs/2610.22714v1
• Date: Thu, 15 Oct 2026 22:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.690378
• Title: First Passage Attention
• Title（参考訳）: 初回通過注意
• Abstract要約: 忘れゲートでソフトマックスの注意を増すことは、通常、キー・クエリ・パスに沿って崩壊貢献を和らげることに依存する。 本稿では、鍵の対数を、学習されたスカラーフィールドの奥深くに比例して下げることにより、経路和から経路極端へシフトするFPA(First Passage Attention)を提案する。
• 参考スコア（独自算出の注目度）: 6.704461526537325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Augmenting softmax attention with forget gates typically relies on summing decay contributions along the key--query path. Because such accumulation is monotonic, these mechanisms cannot selectively erase intermediate context while preserving older, structurally relevant tokens. We propose First Passage Attention (FPA), which shifts from path summation to path extrema by lowering a key's logit proportionally to the deepest dip of a learned scalar field below that key's level over the intervening span. FPA encompasses the Forgetting Transformer (FoX) as a special case, and when the field and levels follow a shared learned walk, the alive keys with unpenalised logits naturally form a stack. We show that a constant-dimension FPA head realises any subset of keys left alive by subsequent dips, whereas softmax heads with positional biases or token-level forget gates require a head dimension linear in the number of keys. In synthetic experiments, one-layer FPA heads converge to these target sets while comparable softmax and FoX baselines fail on every seed. Scaling to a 110M-parameter language model, FPA matches FoX in perplexity and uniquely achieves perfect passkey retrieval at $8\times$ the training length, even with its key--value cache compressed to about $25\%$.
• Abstract（参考訳）: 忘れゲートでソフトマックスの注意を増すことは、通常、キー・クエリ・パスに沿って崩壊貢献を和らげることに依存する。 このような蓄積は単調であるため、これらの機構は古い、構造的に関連するトークンを保持しながら、中間コンテキストを選択的に消去することはできない。 本稿では,鍵の対数を,学習されたスカラーフィールドの奥深いディップに比例して下げることで,経路和から経路極端へシフトする第1パッセージ注意(FPA)を提案する。 FPA は特別なケースとして Forgetting Transformer (FoX) を包含し、フィールドとレベルが共有された学習ウォークに従えば、未払いのロジットを持つ生きたキーは自然にスタックを形成する。 一定次元のFPAヘッドは、後続のディップによって生き残ったキーのサブセットを実現しているのに対し、位置バイアスやトークンレベルの忘れゲートを持つソフトマックスヘッドは、キー数に線形なヘッド次元を必要とする。 合成実験では、1層FPAヘッドはこれらのターゲットセットに収束し、同じソフトマックスとFoXのベースラインはすべてのシードで失敗する。 110Mパラメータの言語モデルにスケールすると、FPAはFoXを難易度でマッチングし、トレーニング長が8\times$の完全パスキー検索を独自に達成する。

関連論文リスト

• SCOPE: Subspace Clustering with Online Per-Head Top-K Estimation for Sparse Video Attention [27.426483415833072]
  SCOPEは、ビデオDiT推論のためのトレーニング不要なスパースアテンションフレームワークである。 3D-RoPE対応のキーサブスペースと、オンラインクラスタリングのTop-$k$の推定を組み合わせたものだ。 SCOPEは、忠実さとレイテンシの両方において、既存のトレーニング不要のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-13T03:43:31Z)
• Sparse Attention for Dense Open-Vocabulary Prediction in CLIP [54.45759517856271]
  最終視覚的自己注意層における行方向のソフトマックスの推測時間置換について検討した。 entmaxは低得点を正確に0にマッピングするデータ依存しきい値を適用するため、暗黙のデノイザとして機能する。 オープン語彙タスクセンスセマンティックセマンティックセグメンテーション (Pascal VOC, Pascal Context, ADE20K) ときめ細かい検索 (FG-OVD) について検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:30:48Z)
• Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
  本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。 合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
  論文  参考訳（メタデータ） (2026-05-25T07:08:57Z)
• SpanKey: Dynamic Key Space Conditioning for Neural Network Access Control [2.0305676256390934]
  SpanKeyは、ウェイトを暗号化したり、ゲート推論でリーダーボードの精度を追いかけることなく、推論をゲートする軽量な方法である。 バリデーションキーは$Span(B)$で、無効キーはそのサブスペースの外でサンプリングされる。 セットアップとファーストオーダーの分析,インジェクタ,吸収,損失とアブレーション,暗号化を約束しない脅威に関する議論,大規模発言のクローズなどについて要約する。
  論文  参考訳（メタデータ） (2026-04-14T04:01:34Z)
• FASA: Frequency-aware Sparse Attention [56.26881872333624]
  本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。 我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。 長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
  論文  参考訳（メタデータ） (2026-02-03T06:09:06Z)
• Exploring Latent Spaces of Tonal Music using Variational Autoencoders [0.9065034043031668]
  変分オートエンコーダ (VAE) は認知的および意味的価値の潜在表現を生成するのに有効なモデルであることが証明されている。 バッハの合唱曲371曲の原型音節コーパスでVAEが訓練した程度を評価する。
  論文  参考訳（メタデータ） (2023-11-07T00:15:29Z)
• Attention Map Guided Transformer Pruning for Edge Device [98.42178656762114]
  視覚トランスフォーマー (ViT) は, 全体的かつ隠蔽された人物再識別 (Re-ID) タスクにおいて, 有望な成功を収めた。 本稿では、冗長なトークンとヘッドの両方を除去する新しいアテンションマップガイド(AMG)トランスフォーマープルーニング法を提案する。 Occluded DukeMTMC と Market-1501 に関する総合的な実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-04-04T01:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。