Fugu-MT 論文翻訳(概要): Explaining the Attention Mechanism of End-to-End Speech Recognition Using Decision Trees

論文の概要: Explaining the Attention Mechanism of End-to-End Speech Recognition Using Decision Trees

arxiv url: http://arxiv.org/abs/2110.03879v1
Date: Fri, 8 Oct 2021 03:36:09 GMT
ステータス: 処理完了
システム内更新日: 2021-10-11 14:42:52.192174
Title: Explaining the Attention Mechanism of End-to-End Speech Recognition Using Decision Trees
Title（参考訳）: 決定木を用いたエンドツーエンド音声認識の注意機構の説明
Authors: Yuanchao Wang, Wenji Du, Chenghao Cai, Yanyan Xu
Abstract要約: 我々は、音声認識において、注意機構が自身に与える影響を説明するために、決定木を用いる。その結果,アテンションレベルはエンコーダやデコーダのパターンよりも,以前の状態に大きく影響していることがわかった。
参考スコア（独自算出の注目度）: 3.133241041718913
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The attention mechanism has largely improved the performance of end-to-end speech recognition systems. However, the underlying behaviours of attention is not yet clearer. In this study, we use decision trees to explain how the attention mechanism impact itself in speech recognition. The results indicate that attention levels are largely impacted by their previous states rather than the encoder and decoder patterns. Additionally, the default attention mechanism seems to put more weights on closer states, but behaves poorly on modelling long-term dependencies of attention states.
Abstract（参考訳）: 注意機構はエンドツーエンド音声認識システムの性能を大幅に改善した。しかし、注意の基盤となる行動は、まだ明確ではない。本研究では,注意機構が音声認識に与える影響を説明するために決定木を用いた。その結果、注意レベルはエンコーダパターンやデコーダパターンよりも前の状態の影響が大きいことがわかった。さらに、デフォルトのアテンションメカニズムは、より近い状態に重みを付けるように見えるが、アテンションステートの長期依存をモデル化するには不向きである。

関連論文リスト

Perturbation-based Self-supervised Attention for Attention Bias in Text Classification [31.144857032681905]
本稿では,摂動に基づく自己監督型アテンションアプローチを提案し,注意学習の指導を行う。文中のすべての単語に、その意味や予測を変えることなく、可能な限り多くのノイズを加えます。 3つのテキスト分類タスクの実験結果から,本手法は現在の注目モデルの性能を大幅に向上させることができることが示された。
論文参考訳（メタデータ） (2023-05-25T03:18:18Z)
Emergent Communication with Attention [19.534480600250394]
我々はこの直感を,参照ゲームにおける話者とリスナーエージェントの相互注意機構として実装する。以上の結果から,注目はより人間的な創発的言語を開発する上で有望なメカニズムであることが示唆された。
論文参考訳（メタデータ） (2023-05-18T12:31:45Z)
Improving Speech Emotion Recognition Through Focus and Calibration Attention Mechanisms [0.5994412766684842]
既存のマルチヘッド自己注意における注意と信号振幅の相違を同定する。そこで本研究では,マルチヘッド・セルフアテンションと組み合わせて,フォーカス・アテンション(FA)機構とノベル・アテンション(CA)機構を提案する。 CA機構を利用することで、異なる重みをそれぞれのアテンションヘッドに割り当てることで、情報フローを変調し、周囲のコンテキストの利用を改善することができる。
論文参考訳（メタデータ） (2022-08-21T08:04:22Z)
Guiding Visual Question Answering with Attention Priors [76.21671164766073]
本稿では,言語・視覚的接地による注意機構の導出について述べる。この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
論文参考訳（メタデータ） (2022-05-25T09:53:47Z)
Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
論文参考訳（メタデータ） (2021-10-25T00:54:57Z)
Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
本稿では,因果推論に基づくより効果的な注意力学習法を提案する。具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。本手法は,広範囲の粒度認識タスクにおいて評価する。
論文参考訳（メタデータ） (2021-08-19T14:53:40Z)
Attention Meets Perturbations: Robust and Interpretable Attention with Adversarial Training [7.106986689736828]
我々は、自然言語処理タスクのための一般的な訓練手法を提案し、例えば、注意のためのAT(Attention AT)と、注意のためのより解釈可能なAT(Attention iAT)を提案する。提案手法は,ATによる予測性能とモデル解釈性を改善した。
論文参考訳（メタデータ） (2020-09-25T07:26:45Z)
Visual Attention for Musical Instrument Recognition [72.05116221011949]
本研究では,楽器認識の性能向上を図るため,音節時間感覚における注意機構,すなわち視覚的注意(la visual attention)の活用について検討する。第1のアプローチは,各音節時間インスタンスに基づく予測をアグリゲーション前に注意重み付けし,最終的な予測を生成するスライディング・ウインドウ・パラダイムに注意機構を適用した。第2のアプローチは、ネットワークがスペクトログラムの一部にのみ参加し、限られた回数の視覚的注意を前提として、次にどこに出席するかを決定する、反復的な視覚的注意モデルに基づいている。
論文参考訳（メタデータ） (2020-06-17T03:56:44Z)
Why Attentions May Not Be Interpretable? [46.69116768203185]
近年の研究では、注目・重要解釈は期待どおりに機能しないことが多いことが判明した。この現象の根本原因の一つがショートカットであり、注意重み自体が余分な情報を運ぶ可能性があることを示している。この問題を緩和する2つの方法を提案する。
論文参考訳（メタデータ） (2020-06-10T05:08:30Z)
Exploring Self-attention for Image Recognition [151.12000247183636]
画像認識における自己注意の2つの形態について考察する。ひとつは、標準的なドット積の注意を一般化する、ペアワイズな自己注意である。もう1つはパッチワイドな自己認識であり、畳み込みよりも厳格に強力です。
論文参考訳（メタデータ） (2020-04-28T16:01:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。