論文の概要: Multi-Head Self-Attention with Role-Guided Masks

• arxiv url: http://arxiv.org/abs/2012.12366v1
• Date: Tue, 22 Dec 2020 21:34:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 07:34:24.395787
• Title: Multi-Head Self-Attention with Role-Guided Masks
• Title（参考訳）: ロールガイドマスクを用いたマルチヘッドセルフアテンション
• Authors: Dongsheng Wang and Casper Hansen and Lucas Chaves Lima and Christian Hansen and Maria Maistro and Jakob Grue Simonsen and Christina Lioma
• Abstract要約: 本稿では,先行作業における役割を重要視する上での注意を導く手法を提案する。 これを行うには、入力の特定の部分に出席する頭を制限する役割固有のマスクを定義します。 7つの異なるデータセットを用いたテキスト分類と機械翻訳の実験により,本手法が競合注意ベース,CNN,RNNベースラインより優れていることが示された。
• 参考スコア（独自算出の注目度）: 20.955992710112216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The state of the art in learning meaningful semantic representations of words is the Transformer model and its attention mechanisms. Simply put, the attention mechanisms learn to attend to specific parts of the input dispensing recurrence and convolutions. While some of the learned attention heads have been found to play linguistically interpretable roles, they can be redundant or prone to errors. We propose a method to guide the attention heads towards roles identified in prior work as important. We do this by defining role-specific masks to constrain the heads to attend to specific parts of the input, such that different heads are designed to play different roles. Experiments on text classification and machine translation using 7 different datasets show that our method outperforms competitive attention-based, CNN, and RNN baselines.
• Abstract（参考訳）: 意味のある単語の意味表現を学ぶ技術の現状は、トランスフォーマーモデルとその注意のメカニズムである。 簡単に言えば、注意機構は、繰り返しや畳み込みを許容する入力の特定の部分に従うことを学ぶ。 学習された注意ヘッドのいくつかは言語的に解釈可能な役割を演じることが発見されているが、それらは冗長であるかエラーになりやすい。 本稿では,先行作業における役割を重要視する上での注意を導く手法を提案する。 私たちは、異なるヘッドが異なる役割を演じるようにデザインされるように、入力の特定の部分に頭を拘束するために、役割固有のマスクを定義します。 7つの異なるデータセットを用いたテキスト分類と機械翻訳の実験により,本手法が競合注意ベース,CNN,RNNベースラインより優れていることが示された。

関連論文リスト

• Multiformer: A Head-Configurable Transformer-Based Model for Direct Speech Translation [0.0]
  MultiformerはTransformerベースのモデルであり、各ヘッドに異なるアテンションメカニズムを使用することができる。 これを行うことで、モデルはより多様なトークン相互作用の抽出に自己注意を偏らせることができる。 その結果、異なる頭部と層に沿った注意パターンの混合は、我々の基準線を最大0.7BLEUで上回ることがわかった。
  論文  参考訳（メタデータ） (2022-05-14T17:37:47Z)
• Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
  本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。 事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。 様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-25T00:54:57Z)
• Differentiable Subset Pruning of Transformer Heads [49.19222084013854]
  近年の研究では、トランスフォーマーのマルチヘッドアテンション機構のヘッドの大部分を、モデルの性能を著しく損なうことなく安全に切断できることが示されている。 我々の研究は、微分可能なサブセットプルーニングと呼ばれる新しいヘッドプルーニング技術を導入している。
  論文  参考訳（メタデータ） (2021-08-10T13:08:34Z)
• A Dynamic Head Importance Computation Mechanism for Neural Machine Translation [22.784419165117512]
  複数のアテンションヘッドを使用する並列アテンション機構は、様々な用途でTransformerモデルの性能を向上させる。 本研究では,入力に対する頭部の重要度を動的に計算する動的頭部重要度計算機構(DHICM)の設計に焦点をあてる。 モデルがすべてのヘッドに同じスコアを割り当てることを防ぐために、余分な損失関数を追加し、より重要なヘッドを特定し、パフォーマンスを即興で向上する。
  論文  参考訳（メタデータ） (2021-08-03T09:16:55Z)
• Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers [78.26411729589526]
  トランスフォーマーアーキテクチャによる予測を説明する最初の方法を提案する。 本手法は,一様説明性に適応した既存手法よりも優れている。
  論文  参考訳（メタデータ） (2021-03-29T15:03:11Z)
• Dodrio: Exploring Transformer Models with Interactive Visualization [10.603327364971559]
  Dodrioは、NLP研究者や実践者が言語知識を持つトランスベースのモデルにおける注意メカニズムを分析するのに役立つオープンソースのインタラクティブビジュアライゼーションツールです。 注意重みと言語知識の視覚的比較を容易にするために、dodrioはより長い入力テキストで注意重みを表すために異なるグラフ視覚化技術を適用する。
  論文  参考訳（メタデータ） (2021-03-26T17:39:37Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework [114.63823178097402]
  本稿では,汎用音声表現学習のための自己教師型学習フレームワーク MGF を提案する。 具体的には、生成学習手法を用いて、小さな時間スケールできめ細かい情報を捕捉し、識別学習手法を用いて、粗い情報や意味情報を大規模に蒸留することを提案する。
  論文  参考訳（メタデータ） (2021-02-03T08:13:21Z)
• The heads hypothesis: A unifying statistical approach towards understanding multi-headed attention in BERT [18.13834903235249]
  マルチヘッドアテンションヘッドはトランスベースのモデルにおける主役です。 対向きの注目度の高いトークン間の関係に基づいて、各注意ヘッドの役割を分類する異なる方法が提案されている。 我々は,注意ヘッドのすべての役割に一般化する単純かつ効果的なスコアを定式化し,このスコアに仮説テストを適用してロバストな推論を行う。
  論文  参考訳（メタデータ） (2021-01-22T14:10:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。