論文の概要: Faster Query-Key Learning Sharpens Attention in Self-Attention Models

• arxiv url: http://arxiv.org/abs/2608.06776v1
• Date: Fri, 07 Aug 2026 03:52:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.343418
• Title: Faster Query-Key Learning Sharpens Attention in Self-Attention Models
• Title（参考訳）: 自己注意モデルにおける問合せ鍵学習の高速化
• Abstract要約: 標準的なセルフアテンション層は、アテンションアロケーションを管理するクエリキー回路と、アテンション表現を予測にマッピングする出力値回路の2つの相互作用回路から構成される。 我々は,これらの回路のパラメータ化が,次トーケン予測のために訓練された単層自己注意モデルにおいてパラメータの軌跡をどう形成するかを解析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A standard self-attention layer consists of two interacting circuits: the query-key circuit that governs attention allocation, and the output-value circuit that maps attended representations to predictions. Collapsed and factorized parameterizations of the query-key and output-value circuits lead to qualitatively different attention patterns. In particular, some parameterizations give sharper attention to task-relevant tokens, at a similar training loss. We analyze how the parameterizations of these circuits shape the parameter trajectories in single-layer self-attention models trained for next-token prediction. Through gradient-flow analysis, we show that factorization induces implicit rescaling of the two circuits' learning rates. We derive closed-form dynamics showing that output-value and query-key parameters move along a line, with relative speeds determined by their learning rates. Faster query-key learning relative to output-value learning thus produces sharper attention, as the model compensates for slower output-value learning by increasing attention mass on relevant tokens. Experiments show that differences in the relative learning rates of the two circuits govern attention concentration. This improves attention interpretability proxies while maintaining comparable predictive performance.
• Abstract（参考訳）: 標準的なセルフアテンション層は、アテンションアロケーションを管理するクエリキー回路と、アテンション表現を予測にマッピングする出力値回路の2つの相互作用回路から構成される。 クエリキーおよび出力値回路の分解および分解されたパラメータ化は、質的に異なる注意パターンをもたらす。 特に、いくつかのパラメータ化は、同様のトレーニング損失でタスク関連トークンにより注意を向ける。 我々は,これらの回路のパラメータ化が,次トーケン予測のために訓練された単層自己注意モデルにおいてパラメータの軌跡をどう形成するかを解析する。 勾配流解析により、分解は2つの回路の学習率を暗黙的に再スケーリングさせることを示した。 出力値とクエリキーパラメータがラインに沿って動き、学習速度によって相対速度が決定されることを示すクローズドフォームダイナミクスを導出する。 出力値学習と比較して高速なクエリキー学習は、関連するトークンに対する注意質量を増大させることで、出力値学習の遅さを補うため、より注意を喚起する。 実験の結果,2つの回路の相対学習率の差が注意集中を左右することがわかった。 これにより、同等の予測性能を維持しながら、注意解釈可能性プロキシが改善される。

関連論文リスト

• Nonparametric Teaching of Attention Learners [37.60057002655994]
  本稿では,非パラメトリック教育の観点から学習過程を再解釈する,Attention Neural Teaching (AtteNT) という新しいパラダイムを提案する。 具体的には,LLMでは13.01%,ViTでは20.58%のトレーニング時間短縮が観察された。
  論文  参考訳（メタデータ） (2026-02-24T01:42:48Z)
• Revisiting [CLS] and Patch Token Interaction in Vision Transformers [16.71411137558127]
  視覚変換器は、強力でスケーラブルで汎用的な表現学習器として登場した。 我々は,異なる事前学習戦略の下で,グローバルな特徴学習とローカルな特徴学習の摩擦について検討する。 本稿では,クラスとパッチトークンの計算フローを選択的に切り離す特殊な処理経路を提案する。
  論文  参考訳（メタデータ） (2026-02-09T13:16:01Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Multipole Attention for Efficient Long Context Reasoning [64.94673641704289]
  大規模推論モデル (LRM) は複雑な問題解決タスクにおいて有望な精度の向上を示す。 LRMは、答える前に考えるために、長い連鎖推論を生成する必要がある。 本稿では,重要なトークンに対してのみ正確に注意を払うことで,自己回帰推論を高速化するマルチポール注意法を提案する。
  論文  参考訳（メタデータ） (2025-06-16T03:00:40Z)
• Learning to Focus: Causal Attention Distillation via Gradient-Guided Token Pruning [62.23671919314693]
  大規模言語モデル (LLM) は文脈理解において著しく改善されている。 しかし、長いコンテキストの推論と生成の間に真に重要な情報に出席する能力は、まだペースの遅れています。 本稿では,2段階のフレームワークであるLearning to Focus(LeaF)を導入し,コンバウンディング要因を緩和する。
  論文  参考訳（メタデータ） (2025-06-09T15:16:39Z)
• PolaFormer: Polarity-aware Linear Attention for Vision Transformers [16.35834984488344]
  線形アテンションはソフトマックスベースのアテンションに代わる有望な代替手段として浮上している。 同一符号と反対符号の問合せキーの相互作用を明示的にモデル化する極性対応線形アテンション機構を提案する。 単純さと各次元の異なる寄与を認識するために、我々は再スケーリングのために学習可能なパワー関数を用いる。
  論文  参考訳（メタデータ） (2025-01-25T03:46:35Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Generic Attention-model Explainability by Weighted Relevance Accumulation [9.816810016935541]
  本稿では,トークン値の重要性を考慮に入れた重み付き関連性戦略を提案する。 提案手法を評価するために,CLIPをベースとした2段階モデルCLIPmapperを提案する。
  論文  参考訳（メタデータ） (2023-08-20T12:02:30Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。