論文の概要: Decomposing Query-Key Feature Interactions Using Contrastive Covariances

• arxiv url: http://arxiv.org/abs/2602.04752v1
• Date: Wed, 04 Feb 2026 16:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.640345
• Title: Decomposing Query-Key Feature Interactions Using Contrastive Covariances
• Title（参考訳）: コントラスト共分散を用いたクエリキー特徴相互作用の解法
• Authors: Andrew Lee, Yonatan Belinkov, Fernanda Viégas, Martin Wattenberg,
• Abstract要約: クエリとキー間の双方向のジョイント埋め込み空間であるクエリキー空間について検討する。 キーとクエリの機能がこれらの低ランクのサブスペースに整列して、高い注目スコアが生成されるときです。
• 参考スコア（独自算出の注目度）: 75.38737409771085
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite the central role of attention heads in Transformers, we lack tools to understand why a model attends to a particular token. To address this, we study the query-key (QK) space -- the bilinear joint embedding space between queries and keys. We present a contrastive covariance method to decompose the QK space into low-rank, human-interpretable components. It is when features in keys and queries align in these low-rank subspaces that high attention scores are produced. We first study our method both analytically and empirically in a simplified setting. We then apply our method to large language models to identify human-interpretable QK subspaces for categorical semantic features and binding features. Finally, we demonstrate how attention scores can be attributed to our identified features.
• Abstract（参考訳）: トランスフォーマーにおけるアテンションヘッドの中心的役割にもかかわらず、モデルが特定のトークンに参加する理由を理解するためのツールが欠如しています。 これを解決するために、クエリキー(QK)空間、すなわちクエリとキー間の双方向の結合埋め込み空間について検討する。 本稿では,QK空間を低ランクで人間の解釈可能な成分に分解するコントラスト共分散法を提案する。 キーとクエリの機能がこれらの低ランクのサブスペースに整列して、高い注目スコアが生成されるときです。 まず,本手法を簡易な設定で解析的にも経験的にも検討する。 次に,本手法を大規模言語モデルに適用し,分類的セマンティック特徴と結合特徴に対する人間の解釈可能なQK部分空間を同定する。 最後に、注目スコアが特定した特徴にどう影響するかを実証する。

関連論文リスト

• Shortcut Invariance: Targeted Jacobian Regularization in Disentangled Latent Space [7.8904984750896885]
  ディープニューラルネットワークはショートカットを学習しやすく、刺激的で容易に学習できる相関関係を持つ。 ショートカット信号に機能的に不変な分類器を簡易かつ効果的に描画する手法を提案する。 我々はこれを対象のヤコビ正規化として分析し、分類器は急激な特徴を無視し、より複雑なコアセマンティック信号に依存するように強制する。
  論文  参考訳（メタデータ） (2025-11-24T07:09:08Z)
• Causal Attention with Lookahead Keys [52.63961482746826]
  標準的な因果的注意では、各トークンのクエリ、キー、値(QKV)は静的であり、先行するコンテキストのみをエンコードする。 本研究では,Lookahead kEys (CASTLE) を用いたCAuSal aTtentionを導入する。
  論文  参考訳（メタデータ） (2025-09-09T00:15:23Z)
• Learning Structure-Supporting Dependencies via Keypoint Interactive Transformer for General Mammal Pose Estimation [24.010615027857007]
  一般的な哺乳類のポーズ推定のためのインスタンスレベルの構造支援依存関係を学習するためのキーポイント・インタラクティブ・トランスフォーマー(KIT)を提案する。 最初のコンポーネントはキーポイントの特徴を抽出し,身体部分のプロンプトを生成する。 次に,空間分割を行うことなく,特徴スライスを入力トークンとして利用する対話型トランスフォーマーを提案する。
  論文  参考訳（メタデータ） (2025-02-25T13:58:37Z)
• SCAPE: A Simple and Strong Category-Agnostic Pose Estimator [6.705257644513057]
  Category-Agnostic Pose Estimation (CAPE) は、任意のカテゴリのオブジェクトにキーポイントをローカライズすることを目的としている。 本稿では,グローバルな意味情報をキーポイントに注入するグローバルなキーポイント機能パーセプタと,キーポイント間のノード間相関を強化するキーポイントアテンションリファクタという2つのキーモジュールを紹介する。 SCAPEは1ショットと5ショット設定で2.2と1.3PCKで先行技術より優れ、推論速度が速く、モデルキャパシティも軽い。
  論文  参考訳（メタデータ） (2024-07-18T13:02:57Z)
• Open-Vocabulary Animal Keypoint Detection with Semantic-feature Matching [74.75284453828017]
  Open-Vocabulary Keypoint Detection (OVKD)タスクは、任意の種類のキーポイントを特定するためにテキストプロンプトを使用するように設計されている。 セマンティック・フェールマッチング(KDSM)を用いた開語彙キーポイント検出(Open-Vocabulary Keypoint Detection)という新しいフレームワークを開発した。 このフレームワークは視覚と言語モデルを組み合わせて、言語機能とローカルキーポイント視覚機能との相互作用を作成する。
  論文  参考訳（メタデータ） (2023-10-08T07:42:41Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• Attend to Who You Are: Supervising Self-Attention for Keypoint Detection and Instance-Aware Association [40.78849763751773]
  本稿では,Transformer を用いたキーポイント検出とインスタンス関連の解法を提案する。 本稿では,複数人物のキーポイント検出と事例関連のための自己注意の監視手法を提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:41:41Z)
• The heads hypothesis: A unifying statistical approach towards understanding multi-headed attention in BERT [18.13834903235249]
  マルチヘッドアテンションヘッドはトランスベースのモデルにおける主役です。 対向きの注目度の高いトークン間の関係に基づいて、各注意ヘッドの役割を分類する異なる方法が提案されている。 我々は,注意ヘッドのすべての役割に一般化する単純かつ効果的なスコアを定式化し,このスコアに仮説テストを適用してロバストな推論を行う。
  論文  参考訳（メタデータ） (2021-01-22T14:10:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。