論文の概要: Boosting Neural Machine Translation with Dependency-Scaled Self-Attention Network

• arxiv url: http://arxiv.org/abs/2111.11707v1
• Date: Tue, 23 Nov 2021 08:01:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 14:30:27.265255
• Title: Boosting Neural Machine Translation with Dependency-Scaled Self-Attention Network
• Title（参考訳）: 依存規模自己注意ネットワークを用いたニューラルネットワーク翻訳の高速化
• Authors: Ru Peng and Nankai Lin and Yi Fang and Shengyi Jiang and Junbo Zhao
• Abstract要約: 本稿では,パラメータフリーで,依存性スケールの自己アテンションネットワークを提案する。 明示的な構文的依存関係をアテンションネットワークに統合し、アテンション分布の分散を解消する。 IWSLT14ドイツ語とWMT16ドイツ語の翻訳タスクの実験と解析により、我々のアプローチが検証された。
• 参考スコア（独自算出の注目度）: 12.929417033539659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural machine translation model assumes that syntax knowledge can be learned from the bilingual corpus via attention network automatically. However, the attention network trained in weak supervision actually cannot capture the deep structure of the sentence. Naturally, we expect to introduce external syntax knowledge to guide the learning of attention network. Thus, we propose a novel, parameter-free, dependency-scaled self-attention network, which integrate explicit syntactic dependencies into attention network to dispel the dispersion of attention distribution. Finally, two knowledge sparse techniques are proposed to prevent the model from overfitting noisy syntactic dependencies. Experiments and extensive analyses on the IWSLT14 German-to-English and WMT16 German-to-English translation tasks validate the effectiveness of our approach.
• Abstract（参考訳）: ニューラル機械翻訳モデルは、意識ネットワークを介してバイリンガルコーパスから構文知識を自動的に学習できると仮定する。 しかし、弱い監督下で訓練された注意ネットワークは、実際に文の深い構造を捉えることはできない。 当然,注意ネットワークの学習を支援するために,外部構文知識の導入が期待されている。 そこで本研究では,注意分布の分散を解消するために,明示的な構文的依存関係を注目ネットワークに統合する,パラメータフリーで依存性スケールの自己注意ネットワークを提案する。 最後に,2つの知識スパース手法が提案されている。 IWSLT14ドイツ語とWMT16ドイツ語の翻訳タスクの実験と広範囲な解析により,本手法の有効性が検証された。

関連論文リスト

• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• Initial Study into Application of Feature Density and Linguistically-backed Embedding to Improve Machine Learning-based Cyberbullying Detection [54.83707803301847]
  この研究は、自動サイバーバブル検出に関するKaggleコンペティションで提供されたFormspringデータセットで実施された。 本研究は,サイバブリング検出におけるニューラルネットワークの有効性と分類器性能と特徴密度の相関性を確認した。
  論文  参考訳（メタデータ） (2022-06-04T03:17:15Z)
• A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured Sentiment Analysis [31.05169054736711]
  言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。 本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。 我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
  論文  参考訳（メタデータ） (2022-05-31T03:07:51Z)
• LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching [66.65398852962177]
  文意味マッチングのための新しい動的再読ネットワーク(DRr-Net)を開発した。 DRr-Netをローカルに認識する動的再読み取り注意ネット(LadRa-Net)に拡張する 2つの一般的な文意味マッチングタスクの実験により、DRr-Netは文意味マッチングの性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-08-06T02:07:04Z)
• Weakly Supervised Temporal Adjacent Network for Language Grounding [96.09453060585497]
  本稿では,時間的言語接地のための新しい教師付き時間的隣接ネットワーク(WSTAN)を提案する。 WSTANは、複数のインスタンス学習(MIL)パラダイムにおいて、時間的隣接ネットワークを活用することで、モーダル間のセマンティックアライメントを学習する。 MILブランチと補完ブランチの両方で、自己監督による意味的識別を強化するために、追加の自己識別損失が考案された。
  論文  参考訳（メタデータ） (2021-06-30T15:42:08Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• Generative Adversarial Phonology: Modeling unsupervised phonetic and phonological learning with neural networks [0.0]
  音声データにおけるよく理解された依存関係に基づくディープニューラルネットワークのトレーニングは、内部表現の学習方法に関する新たな洞察を提供することができる。 本稿では, 音声の獲得を, 生成適応型ネットワークアーキテクチャにおけるランダム空間と生成した音声データ間の依存性としてモデル化することができることを論じる。 本稿では,音韻的・音韻的特性に対応するネットワークの内部表現を明らかにする手法を提案する。
  論文  参考訳（メタデータ） (2020-06-06T20:31:23Z)
• AttViz: Online exploration of self-attention for transparent neural language modeling [7.574392147428978]
  本研究では,AttVizを提案する。AttVizは,個々のテキストトークンに関連付けられた自己注意値の探索を行うオンラインツールキットである。 既存のディープラーニングパイプラインが、AttVizに適したアウトプットを生成し、最小限の労力で、アテンションヘッドとアグリゲーションの新たな視覚化を提供する方法を示します。
  論文  参考訳（メタデータ） (2020-05-12T12:21:40Z)
• Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
  このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。 本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2020-04-28T07:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。