論文の概要: How Does Selective Mechanism Improve Self-Attention Networks?

• arxiv url: http://arxiv.org/abs/2005.00979v1
• Date: Sun, 3 May 2020 04:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 06:04:11.725799
• Title: How Does Selective Mechanism Improve Self-Attention Networks?
• Title（参考訳）: 選択メカニズムは自己注意ネットワークをどのように改善するか?
• Authors: Xinwei Geng, Longyue Wang, Xing Wang, Bing Qin, Ting Liu, Zhaopeng Tu
• Abstract要約: 選択的な機構を持つ自己注意ネットワーク(SAN)は、様々なNLPタスクにおいて大幅に改善されている。 本稿では,柔軟で普遍的なGumbel-Softmaxで実装した選択的SANの強度を評価する。 我々は、SSANの改良は、単語順エンコーディングと構造モデリングという2つの一般的なSANの弱点を緩和することに起因すると実証的に検証した。
• 参考スコア（独自算出の注目度）: 57.75314746470783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-attention networks (SANs) with selective mechanism has produced substantial improvements in various NLP tasks by concentrating on a subset of input words. However, the underlying reasons for their strong performance have not been well explained. In this paper, we bridge the gap by assessing the strengths of selective SANs (SSANs), which are implemented with a flexible and universal Gumbel-Softmax. Experimental results on several representative NLP tasks, including natural language inference, semantic role labelling, and machine translation, show that SSANs consistently outperform the standard SANs. Through well-designed probing experiments, we empirically validate that the improvement of SSANs can be attributed in part to mitigating two commonly-cited weaknesses of SANs: word order encoding and structure modeling. Specifically, the selective mechanism improves SANs by paying more attention to content words that contribute to the meaning of the sentence. The code and data are released at https://github.com/xwgeng/SSAN.
• Abstract（参考訳）: 選択的な機構を持つ自己注意ネットワーク(SAN)は、入力単語のサブセットに集中することにより、様々なNLPタスクにおいて大幅に改善されている。 しかし、その性能の根本的な理由はよく説明されていない。 本稿では、柔軟で普遍的なGumbel-Softmaxで実装された選択的SAN(SSAN)の強度を評価することでギャップを埋める。 自然言語推論、セマンティックロールラベリング、機械翻訳など、いくつかの代表的NLPタスクに関する実験結果から、SSANが標準SANよりも一貫して優れていることが示された。 良く設計された探索実験を通じて、SSANの改良は2つの一般的なSANの弱点である単語順エンコーディングと構造モデリングを緩和することに起因すると実証的に検証した。 具体的には、選択的なメカニズムは、文の意味に寄与する内容語により多くの注意を払って、SANを改善する。 コードとデータはhttps://github.com/xwgeng/ssanでリリースされる。

関連論文リスト

• BigVSAN: Enhancing GAN-based Neural Vocoders with Slicing Adversarial Network [16.986061375767488]
  高忠実度音声波形をリアルタイムより高速に合成できるGANベースのボコーダの研究が盛んに行われている。 ほとんどのGANは、特徴空間における実データと偽データとを識別する最適なプロジェクションを得ることができない。 本稿では,ほとんどのGANベースのボコーダが採用している最小二乗GANを,損失関数がSANの要求を満たすように修正する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-06T08:48:03Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• More Than Words: Towards Better Quality Interpretations of Text Classifiers [16.66535643383862]
  MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。 1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
  論文  参考訳（メタデータ） (2021-12-23T10:18:50Z)
• Sometimes We Want Translationese [48.45003475966808]
  一部のアプリケーションでは、元の(入力)テキストに対する忠実さが保存に重要である。 NMTシステムが堅牢性と信頼性を示すかどうかを定量化する、シンプルで斬新な方法を提案します。
  論文  参考訳（メタデータ） (2021-04-15T17:39:47Z)
• SG-Net: Syntax Guided Transformer for Language Representation [58.35672033887343]
  本稿では,言語的動機づけのある単語表現のための明示的な構文制約をアテンション機構に組み込むことにより,テキストモデリングの指導に構文を用いることを提案する。 詳細は、自己注意ネットワーク(SAN)が支援するTransformerベースのエンコーダについて、SANにSDOI設計の構文依存性を導入し、構文誘導型自己注意型SDOI-SANを形成する。 機械読解、自然言語推論、ニューラルネットワーク翻訳などの一般的なベンチマークタスクの実験は、提案したSG-Net設計の有効性を示している。
  論文  参考訳（メタデータ） (2020-12-27T11:09:35Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)
• Self-Attention Networks for Intent Detection [0.9023847175654603]
  本稿では,自己注意ネットワークとBi-LSTMに基づく新たな意図検出システムを提案する。 提案手法は,変圧器モデルと深層平均化ネットワークベースユニバーサル文エンコーダを用いて改善を示す。 我々は,Snips,Smart Speaker,Smart Lights,およびATISデータセットを異なる評価指標で評価する。
  論文  参考訳（メタデータ） (2020-06-28T12:19:15Z)
• Self-Attention with Cross-Lingual Position Representation [112.05807284056337]
  位置符号化(PE)は、自然言語処理タスクの単語順序情報を保存し、入力シーケンスの固定位置インデックスを生成する。 語順が異なるため、言語間の位置関係をモデル化することは、SANがこの問題に取り組むのに役立つ。 我々は、入力文のバイリンガル認識潜在構造をモデル化するために、言語間位置表現によるSANを拡大する。
  論文  参考訳（メタデータ） (2020-04-28T05:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。