論文の概要: Unveiling the Hidden Structure of Self-Attention via Kernel Principal Component Analysis

• arxiv url: http://arxiv.org/abs/2406.13762v1
• Date: Wed, 19 Jun 2024 18:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 18:35:22.123369
• Title: Unveiling the Hidden Structure of Self-Attention via Kernel Principal Component Analysis
• Title（参考訳）: カーネル主成分分析による自己意識の隠れ構造解明
• Authors: Rachel S. Y. Teo, Tan M. Nguyen,
• Abstract要約: 自己アテンション(自己アテンション)は,キー行列の主成分軸上のクエリベクトルを特徴空間に投影することを示す。 本稿では,ロバスト成分を用いたアテンション(RPC-Attention)を提案する。
• 参考スコア（独自算出の注目度）: 2.1605931466490795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable success of transformers in sequence modeling tasks, spanning various applications in natural language processing and computer vision, is attributed to the critical role of self-attention. Similar to the development of most deep learning models, the construction of these attention mechanisms rely on heuristics and experience. In our work, we derive self-attention from kernel principal component analysis (kernel PCA) and show that self-attention projects its query vectors onto the principal component axes of its key matrix in a feature space. We then formulate the exact formula for the value matrix in self-attention, theoretically and empirically demonstrating that this value matrix captures the eigenvectors of the Gram matrix of the key vectors in self-attention. Leveraging our kernel PCA framework, we propose Attention with Robust Principal Components (RPC-Attention), a novel class of robust attention that is resilient to data contamination. We empirically demonstrate the advantages of RPC-Attention over softmax attention on the ImageNet-1K object classification, WikiText-103 language modeling, and ADE20K image segmentation task.
• Abstract（参考訳）: シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功は、自然言語処理やコンピュータビジョンにおける様々な応用にまたがるものであり、自己認識の重要な役割に起因している。 多くのディープラーニングモデルの開発と同様に、これらの注意機構の構築はヒューリスティックと経験に依存している。 本研究では、カーネル主成分分析(カーネルPCA)から自己アテンションを導出し、自己アテンションが、そのクエリベクトルを特徴空間のキー行列の主成分軸に投影することを示す。 次に、自己アテンションにおける値行列の正確な公式を定式化し、この値行列が自己アテンションにおけるキーベクトルのグラム行列の固有ベクトルを捉えることを理論的および経験的に証明する。 カーネルPCAフレームワークを活用して、データ汚染に耐性のある新しいロバスト・プリンシパル・コンポーネント(RPC-Attention)を提案する。 我々は、画像Net-1Kオブジェクト分類、WikiText-103言語モデリング、ADE20K画像分割タスクにおけるRPC-Attentionの利点を実証的に示す。

関連論文リスト

• Principal Orthogonal Latent Components Analysis (POLCA Net) [0.27309692684728604]
  表現学習は、分類、予測、クラスタリングといったタスクにより有用で関連性の高い機能を学ぶことを目的としている。 我々はPCAとLDA機能を非線形領域に模倣し拡張するためのPOLCANet(Principal Orthogonal Latent Components Analysis Network)を導入する。
  論文  参考訳（メタデータ） (2024-10-09T14:04:31Z)
• Binding Dynamics in Rotating Features [72.80071820194273]
  本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
  論文  参考訳（メタデータ） (2024-02-08T12:31:08Z)
• Betrayed by Attention: A Simple yet Effective Approach for Self-supervised Video Object Segmentation [76.68301884987348]
  自己教師型ビデオオブジェクトセグメンテーション(VOS)のための簡易かつ効果的なアプローチを提案する。 我々の重要な洞察は、DINO-pretrained Transformerに存在する構造的依存関係を利用して、ビデオ内の堅牢な時間分割対応を確立することである。 提案手法は,複数の教師なしVOSベンチマークにまたがる最先端性能を実証し,複雑な実世界のマルチオブジェクトビデオセグメンテーションタスクに優れることを示す。
  論文  参考訳（メタデータ） (2023-11-29T18:47:17Z)
• Self-trained Panoptic Segmentation [0.0]
  パノプティックセグメンテーションは、セグメンテーションとインスタンスセグメンテーションを組み合わせた重要なコンピュータビジョンタスクである。 近年の自己教師型学習手法の進歩は、擬似ラベルを生成するために、合成データと非ラベルデータを活用する大きな可能性を示している。 本研究の目的は,合成領域適応問題における自己学習を用いた埋め込み型自己教師型単眼セグメンテーションを実現するためのフレームワークを開発することである。
  論文  参考訳（メタデータ） (2023-11-17T17:06:59Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders [64.03000385267339]
  マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。 簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。 RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
  論文  参考訳（メタデータ） (2022-10-05T08:08:55Z)
• The Quarks of Attention [11.315881995916428]
  ディープラーニングでは、自然言語処理などの問題に対処するために、注目に基づくニューラルネットワークが広く使用されている。 我々は、ソース、ターゲット、計算機構の観点から、すべての基本的な注意ブロックを分類する。 我々は、加算活性化注意、乗算出力注意(出力ゲーティング)、乗算シナプス注意(シナプスゲーティング)の3つの重要なメカニズムを特定し、研究する。
  論文  参考訳（メタデータ） (2022-02-15T18:47:19Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。