論文の概要: Query Expansion and Key Specialization in Transformer Attention Geometry

• arxiv url: http://arxiv.org/abs/2609.34273v1
• Date: Mon, 28 Sep 2026 04:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:17:02.285214
• Title: Query Expansion and Key Specialization in Transformer Attention Geometry
• Title（参考訳）: 変圧器アテンション幾何学におけるクエリ拡張とキースペシャライゼーション
• Abstract要約: 注意点に関しては、キーの縮小により、QKtop$のスペクトルがより狭くなり、より注目されるようになる。 本稿では,文字レベルWikiText-103上でのGPTライクな小型トランスフォーマーの学習を通して,この問題を考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The projection of queries and keys are central to the attention mechanism in Transformer architectures. While they are mathematically symmetric, they play different roles in attention mechanisms. The question of whether there is an effect from their functional distinction on their geometric development in training remains unanswered. We investigate the problem through the training of small GPT-like Transformers on character-level WikiText-103 for three different depths (4, 6, and 8 layers), three types of initialization for queries and keys, and four random seeds, resulting in 36 runs and 54 trajectories of average layers across seeds. We track the effective dimensionality of those layers using participation ratios and discover that effective dimension of queries expand while keys shrink, and that $PR_Q - PR_K$ is positive in all trajectories studied. In connection to attention, the shrinking of keys leads to a narrower spectrum of $QK^\top$ and more peaked attention weights. In order to determine if this connection is causal or coincidental, we directly control the spectrum of keys during training across five seeds: restricting it to make it shrink sharpens the attention with high directional confidence, while keeping it constant to the level of initial dispersion makes attention softer. Additional token-level checkpoint analyses show that the monotonic paired-contrast trend is not universal across pretrained families, but survives as an early-training regime that later decays over a full pretraining run, and the link between interaction-rank geometry and attention entropy remains visible in several models.
• Abstract（参考訳）: クエリとキーのプロジェクションは、Transformerアーキテクチャのアテンションメカニズムの中心である。 数学的には対称であるが、注意機構において異なる役割を担っている。 機能的区別がトレーニングにおける幾何学的発達に影響を及ぼすかどうかという問題は未解決のままである。 本研究では,3種類の深さ(4層,6層,8層),クエリとキーの3種類の初期化,および4種類のランダムシードに対して,文字レベルのWikiText-103上でのGPT様変換器の訓練を行い,36ラン,54トラジェクトリの種間平均化を行った。 参加者比を用いて,これらのレイヤの有効次元をトラックし,キーの縮小中にクエリの有効次元が拡大し,研究対象のすべてのトラジェクトリにおいて,$PR_Q - PR_K$が正であることを確認する。 注意関係において、キーの縮小はより狭いスペクトルのQK^\top$とよりピークの注意重みにつながる。 この接続が因果的なのか偶然なのかを判断するために、私たちは5つのシードをまたいだトレーニング中に、キーのスペクトルを直接制御します。 トークンレベルのチェックポイント分析により、単調対コントラストの傾向は事前訓練された家族間で普遍的ではなく、後に完全な事前訓練で崩壊する早期訓練体制として存続し、相互作用ランク幾何学と注意エントロピーの関係はいくつかのモデルで見ることができる。

関連論文リスト

• Disentangling Attention in Deep Operator Learning: A Controlled Study of Data-Driven and Physics-Informed Architectures [0.25489046505746704]
  注意機構は神経オペレーターに導入されたが、ほとんどの研究は一度にいくつかのアーキテクチャコンポーネントを変更する。 この研究は、データ駆動型と物理インフォームド型の両方で訓練された、異なる注意機構を持つ5つのディープオペレータネットワーク(DeepONet)の制御および体系的な研究を示す。
  論文  参考訳（メタデータ） (2026-09-03T19:17:01Z)
• Intrinsic and Triangulation-Agnostic Attention: A Simple and Powerful Approach for Learning on Meshes [12.48720424281573]
  本研究は,三角形メッシュに対するアテンション機構の適応性を提案する。 中心となる観察は、メッシュを学習する上で重要な特性を持つ注意機構 – 内在性と三角法非依存 – を提供することによって、幾何処理におけるいくつかの学習ベースのタスクにおいて、最先端の結果を得ることが可能になることである。
  論文  参考訳（メタデータ） (2026-07-27T18:04:26Z)
• Geometric and Information Compression of Representations in Deep Learning [17.830589700881507]
  ディープニューラルネットワークは、入力データを幅広い下流タスクをサポートする潜在表現に変換する。 中心的なオープンな問題は、入力と表現の間の低相互情報(MI)が必然的に幾何学的に圧縮された潜在空間を意味するかどうかである。 幾何学的圧縮と理論的MI推定の尺度として,クラスワイズクラスタリングを用いてこの問題を考察する。
  論文  参考訳（メタデータ） (2026-06-19T16:49:50Z)
• Tracing the Representation Geometry of Language Models from Pretraining to Post-training [22.18942718274405]
  本研究では,事前学習と後学習にまたがる学習表現の幾何学をスペクトル的に検討する。 自己回帰事前学習中に3つの幾何位相の一貫した非単調列が発見された。 SFTとDPOは、特定の命令データや優先データを統合するために「エントロピー探索」ダイナミクスを駆動します。
  論文  参考訳（メタデータ） (2025-09-27T00:46:29Z)
• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up [64.38715211969516]
  CLEARと呼ばれる畳み込み型ローカルアテンション戦略を導入し,各クエリトークンの周囲のローカルウィンドウに特徴的インタラクションを限定する。 実験により,10K反復で10Kの自己生成サンプルに注意層を微調整することにより,事前学習したDiTから線形複雑度のある学生モデルへの知識伝達を効果的に行うことができた。
  論文  参考訳（メタデータ） (2024-12-20T17:57:09Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• Multi-Head Attention: Collaborate Instead of Concatenate [85.71058762269374]
  我々は,頭部が共有投影を学習できる,協調的な多面的アテンション層を提案する。 実験により、キー/クエリの次元の共有は言語理解、機械翻訳、ビジョンに活用できることを確認した。
  論文  参考訳（メタデータ） (2020-06-29T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。