論文の概要: Dissecting Query-Key Interaction in Vision Transformers

• arxiv url: http://arxiv.org/abs/2405.14880v3
• Date: Tue, 29 Oct 2024 15:23:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 02:59:38.087267
• Title: Dissecting Query-Key Interaction in Vision Transformers
• Title（参考訳）: 視覚変換器における問合せキーの解離
• Authors: Xu Pan, Aaron Philip, Ziqian Xie, Odelia Schwartz,
• Abstract要約: 視覚変換器における自己注意はしばしば知覚的なグループ化を行うと考えられている。 相互作用行列の特異値分解による問合せキーの相互作用の解析を行う。
• 参考スコア（独自算出の注目度）: 4.743574336827573
• License:
• Abstract: Self-attention in vision transformers is often thought to perform perceptual grouping where tokens attend to other tokens with similar embeddings, which could correspond to semantically similar features of an object. However, attending to dissimilar tokens can be beneficial by providing contextual information. We propose to analyze the query-key interaction by the singular value decomposition of the interaction matrix (i.e. ${\textbf{W}_q}^\top\textbf{W}_k$). We find that in many ViTs, especially those with classification training objectives, early layers attend more to similar tokens, while late layers show increased attention to dissimilar tokens, providing evidence corresponding to perceptual grouping and contextualization, respectively. Many of these interactions between features represented by singular vectors are interpretable and semantic, such as attention between relevant objects, between parts of an object, or between the foreground and background. This offers a novel perspective on interpreting the attention mechanism, which contributes to understanding how transformer models utilize context and salient features when processing images.
• Abstract（参考訳）: 視覚変換器における自己注意は、トークンが類似した埋め込みを持つ他のトークンに付随する知覚的なグループ化を行うと考えられており、これはオブジェクトの意味論的に類似した特徴に対応できる。 しかし、異なるトークンへの参加は文脈情報を提供することで有益である。 相互作用行列の特異値分解(${\textbf{W}_q}^\top\textbf{W}_k$)によりクエリキーの相互作用を分析することを提案する。 多くのViTでは、特に分類訓練対象の層では、初期層は類似のトークンに多く対応し、後期層は異なるトークンに注意を向け、それぞれ知覚的グループ化と文脈化に対応する証拠を提供する。 特異ベクトルで表される特徴間のこれらの相互作用の多くは解釈可能であり、関連する対象間の注意、対象の部分間の注意、前景と背景の間の関心などである。 これは、アテンションメカニズムの解釈に関する新しい視点を提供する。これは、トランスフォーマーモデルが画像を処理する際に、コンテキストと健全な特徴をどのように利用するかを理解するのに寄与する。

関連論文リスト

• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• Mining Open Semantics from CLIP: A Relation Transition Perspective for Few-Shot Learning [46.25534556546322]
  そこで本稿では,イメージ・アンカー関係から画像・ターゲット関係に遷移して予測を行うアンカーとしてオープンセマンティクスを抽出することを提案する。 本手法は, 数ショットの分類設定を考慮し, 従来の最先端技術に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-06-17T06:28:58Z)
• Understanding the Effect of using Semantically Meaningful Tokens for Visual Representation Learning [41.81009725976217]
  視覚言語事前学習フレームワーク内のトランスフォーマーエンコーダに対して意味論的に意味のある視覚トークンを提供する。 テキスト・ツー・イメージ検索タスクと画像・テキスト検索タスク間で学習された表現品質のViTに対する顕著な改善を示す。
  論文  参考訳（メタデータ） (2024-05-26T01:46:22Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Learning-based Relational Object Matching Across Views [63.63338392484501]
  本稿では,RGB画像間のオブジェクト検出をマッチングするための,局所キーポイントと新たなオブジェクトレベルの特徴を組み合わせた学習ベースアプローチを提案する。 我々は、連想グラフニューラルネットワークにおいて、オブジェクト間の外観とフレーム間およびフレーム間空間関係に基づいて、オブジェクトレベルのマッチング機能を訓練する。
  論文  参考訳（メタデータ） (2023-05-03T19:36:51Z)
• AttEntropy: Segmenting Unknown Objects in Complex Scenes using the Spatial Attention Entropy of Semantic Segmentation Transformers [99.22536338338011]
  セマンティックセグメンテーショントランスの異なるバックボーン層の空間的注意度について検討する。 我々はこれを、未知のオブジェクトをさまざまな背景に分割するのに使用できるヒートマップを抽出することで活用する。 本手法はトレーニング不要であり,その計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2022-12-29T18:07:56Z)
• Framework-agnostic Semantically-aware Global Reasoning for Segmentation [29.69187816377079]
  本稿では,画像特徴を潜在表現に投影し,それら間の関係を推論するコンポーネントを提案する。 我々の設計では、活性化領域が空間的に不整合であることを保証することにより、潜在領域が意味概念を表現することを奨励している。 潜在トークンはセマンティックに解釈可能で多様性があり、下流タスクに転送可能な豊富な機能セットを提供します。
  論文  参考訳（メタデータ） (2022-12-06T21:42:05Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• KVT: k-NN Attention for Boosting Vision Transformers [44.189475770152185]
  我々は、視力変換器の強化を目的とした、k-NNアテンションと呼ばれるスパースアテンション方式を提案する。 提案したk-NNアテンションは、畳み込み操作を導入することなくCNNの局所バイアスを自然に継承する。 理論的にも経験的にも、$k$-NNの注意力は入力トークンからのノイズの蒸留やトレーニングの高速化に有効である。
  論文  参考訳（メタデータ） (2021-05-28T06:49:10Z)
• Context-Aware Interaction Network for Question Matching [51.76812857301819]
  本研究では,二つのシーケンスを整合させ,それらの意味関係を推定する文脈認識インタラクションネットワーク(coin)を提案する。 具体的には,(1)コンテキスト情報を効果的に統合するためのコンテキスト対応のクロスアテンション機構,(2)整列表現を柔軟に補間するゲート融合層を備える。
  論文  参考訳（メタデータ） (2021-04-17T05:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。