論文の概要: SG-Net: Syntax Guided Transformer for Language Representation

• arxiv url: http://arxiv.org/abs/2012.13915v2
• Date: Thu, 7 Jan 2021 05:48:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-24 20:15:11.978282
• Title: SG-Net: Syntax Guided Transformer for Language Representation
• Title（参考訳）: sg-net: 言語表現のための構文案内トランスフォーマー
• Authors: Zhuosheng Zhang, Yuwei Wu, Junru Zhou, Sufeng Duan, Hai Zhao, Rui Wang
• Abstract要約: 本稿では,言語的動機づけのある単語表現のための明示的な構文制約をアテンション機構に組み込むことにより,テキストモデリングの指導に構文を用いることを提案する。 詳細は、自己注意ネットワーク(SAN)が支援するTransformerベースのエンコーダについて、SANにSDOI設計の構文依存性を導入し、構文誘導型自己注意型SDOI-SANを形成する。 機械読解、自然言語推論、ニューラルネットワーク翻訳などの一般的なベンチマークタスクの実験は、提案したSG-Net設計の有効性を示している。
• 参考スコア（独自算出の注目度）: 58.35672033887343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding human language is one of the key themes of artificial intelligence. For language representation, the capacity of effectively modeling the linguistic knowledge from the detail-riddled and lengthy texts and getting rid of the noises is essential to improve its performance. Traditional attentive models attend to all words without explicit constraint, which results in inaccurate concentration on some dispensable words. In this work, we propose using syntax to guide the text modeling by incorporating explicit syntactic constraints into attention mechanisms for better linguistically motivated word representations. In detail, for self-attention network (SAN) sponsored Transformer-based encoder, we introduce syntactic dependency of interest (SDOI) design into the SAN to form an SDOI-SAN with syntax-guided self-attention. Syntax-guided network (SG-Net) is then composed of this extra SDOI-SAN and the SAN from the original Transformer encoder through a dual contextual architecture for better linguistics inspired representation. The proposed SG-Net is applied to typical Transformer encoders. Extensive experiments on popular benchmark tasks, including machine reading comprehension, natural language inference, and neural machine translation show the effectiveness of the proposed SG-Net design.
• Abstract（参考訳）: 人間の言語を理解することは人工知能の重要なテーマの一つだ。 言語表現においては,言語知識を詳細で長大なテキストから効果的にモデル化し,ノイズを取り除く能力は,その性能向上に不可欠である。 従来の注意モデルでは、明示的な制約なしにすべての単語に従わなければならない。 そこで本研究では,言語的動機づけのある単語表現のための明示的な構文制約をアテンション機構に組み込むことで,テキストモデリングを導くための構文の利用を提案する。 詳細は、自己注意ネットワーク(SAN)が支援するTransformerベースのエンコーダについて、SANにSDOI設計の構文依存性を導入し、構文誘導型自己注意型SDOI-SANを形成する。 次に、SG-Net(Syntax-Guided Network)は、元のTransformerエンコーダのSDOI-SANとSANで構成され、言語学にインスパイアされた表現を改善するための2つのコンテキストアーキテクチャである。 提案するsg-netは、典型的なトランスフォーマーエンコーダに適用される。 機械読解、自然言語推論、ニューラルネットワーク翻訳など、一般的なベンチマークタスクに関する広範な実験は、提案したSG-Net設計の有効性を示している。

関連論文リスト

• SignAttention: On the Interpretability of Transformer Models for Sign Language Translation [2.079808290618441]
  本稿では,トランスフォーマーを用いた手話翻訳モデルの最初の包括的解釈可能性解析について述べる。 モデル内の注意機構について検討し,視覚入力を逐次グルースで処理・調整する方法について考察する。 この研究はSLTモデルのより深い理解に寄与し、より透明で信頼性の高い翻訳システムを開発するための道を開いた。
  論文  参考訳（メタデータ） (2024-10-18T14:38:37Z)
• Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation [53.97155730116369]
  我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。 LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。 1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-20T08:19:05Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)
• How Does Selective Mechanism Improve Self-Attention Networks? [57.75314746470783]
  選択的な機構を持つ自己注意ネットワーク(SAN)は、様々なNLPタスクにおいて大幅に改善されている。 本稿では,柔軟で普遍的なGumbel-Softmaxで実装した選択的SANの強度を評価する。 我々は、SSANの改良は、単語順エンコーディングと構造モデリングという2つの一般的なSANの弱点を緩和することに起因すると実証的に検証した。
  論文  参考訳（メタデータ） (2020-05-03T04:18:44Z)
• Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
  このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。 本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2020-04-28T07:24:43Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。