論文の概要: Input-independent Attention Weights Are Expressive Enough: A Study of
Attention in Self-supervised Audio Transformers
- arxiv url: http://arxiv.org/abs/2006.05174v2
- Date: Tue, 3 Nov 2020 06:32:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 15:21:05.362727
- Title: Input-independent Attention Weights Are Expressive Enough: A Study of
Attention in Self-supervised Audio Transformers
- Title（参考訳）: 入力非依存的注意重みは十分に表現できる:自己教師付きオーディオトランスフォーマにおける注意に関する研究
- Authors: Tsung-Han Wu, Chun-Chen Hsieh, Yen-Hao Chen, Po-Han Chi, Hung-yi Lee
- Abstract要約: 我々は、自己教師付きアルゴリズムを用いたトランスフォーマーベースモデルを事前訓練し、下流タスクにおける特徴抽出器として扱う。
このアプローチでは、トレーニングと推論の両方において、通常の自己注意と同等のパフォーマンスで20%の時間を要することが示されています。
- 参考スコア（独自算出の注目度）: 55.40032342541187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we seek solutions for reducing the computation complexity of
transformer-based models for speech representation learning. We evaluate 10
attention algorithms; then, we pre-train the transformer-based model with those
attention algorithms in a self-supervised fashion and treat them as feature
extractors on downstream tasks, including phoneme classification and speaker
classification. With the assistance of t-SNE, PCA and some observation, the
attention weights in self-supervised audio transformers can be categorized into
four general cases. Based on these cases and some analyses, we are able to use
a specific set of attention weights to initialize the model. Our approach shows
comparable performance to the typical self-attention yet requires 20% less time
in both training and inference.
- Abstract（参考訳）: 本稿では,音声表現学習のためのトランスフォーマモデルの計算複雑性を低減するための解を求める。
10個のアテンションアルゴリズムを評価し,これらのアテンションアルゴリズムを自己教師方式で事前学習し,音素分類や話者分類などの下流タスクにおける特徴抽出器として扱う。
t-sne、pca、およびいくつかの観察により、自己教師付きオーディオトランスフォーマの注意重みは4つの一般的なケースに分類できる。
これらのケースといくつかの分析に基づいて、モデルを初期化するために特定の注意重みを使うことができる。
このアプローチでは、トレーニングと推論の両方において、通常の自己注意と同等のパフォーマンスで20%の時間を要することが示されています。
関連論文リスト
- On-Chip Learning via Transformer In-Context Learning [0.9353041869660692]
自己アテンションメカニズムでは、各ステップでメインメモリから事前トークンプロジェクションを転送する必要がある。
オンチップの塑性プロセッサを用いて自己注意を計算したニューロモルフィックデコーダのみのトランスモデルを提案する。
論文 参考訳（メタデータ） (2024-10-11T10:54:09Z) - Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - Visual Transformers for Primates Classification and Covid Detection [8.747840760772268]
本研究では,注目機構を中心に構築された深層機械学習モデルである視覚変換器を生音声のメル・スペクトログラム表現に適用する。
メルベースのデータ拡張技術とサンプル重み付けを追加すると、ComParE21のPRSとCCSの課題に匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-12-20T09:10:25Z) - How Much Does Attention Actually Attend? Questioning the Importance of
Attention in Pretrained Transformers [59.57128476584361]
本稿では,入力依存型アテンション行列を一定値に置き換える新しい探索手法PAPAを紹介する。
入力依存の注意を払わずに、全てのモデルが競争性能を達成できることがわかった。
より弱いモデルよりも、我々の手法を適用することでより良い性能のモデルが失われることが示され、入力依存の注意機構の利用がその成功の要因である可能性が示唆された。
論文 参考訳（メタデータ） (2022-11-07T12:37:54Z) - Deep Clustering For General-Purpose Audio Representations [2.8086459907382224]
本稿では,汎用音声表現学習のための自己教師付き事前学習手法であるDECARを紹介する。
大規模Audiosetデータセットのバランスの取れたサブセットにDECARをプリトレーニングする。
これらの表現を、音声、音楽、動物音、音響シーンを含む9つの下流分類タスクに転送する。
論文 参考訳（メタデータ） (2021-10-17T19:03:51Z) - Generic Attention-model Explainability for Interpreting Bi-Modal and
Encoder-Decoder Transformers [78.26411729589526]
トランスフォーマーアーキテクチャによる予測を説明する最初の方法を提案する。
本手法は,一様説明性に適応した既存手法よりも優れている。
論文 参考訳（メタデータ） (2021-03-29T15:03:11Z) - SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。
事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。
本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-25T14:13:44Z) - Learning Hard Retrieval Decoder Attention for Transformers [69.40942736249397]
トランスフォーマー変換モデルは、容易に並列化できるマルチヘッドアテンション機構に基づいている。
ハード検索の注意機構は復号化の1.43倍高速であることを示す。
論文 参考訳（メタデータ） (2020-09-30T13:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。