論文の概要: Syntactic Knowledge via Graph Attention with BERT in Machine Translation

• arxiv url: http://arxiv.org/abs/2305.13413v1
• Date: Mon, 22 May 2023 18:56:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 20:58:40.644634
• Title: Syntactic Knowledge via Graph Attention with BERT in Machine Translation
• Title（参考訳）: 機械翻訳におけるBERTを用いたグラフ注意による構文知識
• Authors: Yuqian Dai, Serge Sharoff, Marc de Kamps
• Abstract要約: 本稿では,機械翻訳(MT)シナリオにおけるBERT(SGB)を用いたグラフアテンションによる構文知識を提案する。 本実験では,ゴールド構文アノテーション文と品質推定(QE)モデルを用いて翻訳品質改善の解釈可能性を得る。 実験の結果,提案するSGBエンジンはBLEUスコアを犠牲にすることなく,MTタスクの翻訳品質を向上させることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although the Transformer model can effectively acquire context features via a self-attention mechanism, deeper syntactic knowledge is still not effectively modeled. To alleviate the above problem, we propose Syntactic knowledge via Graph attention with BERT (SGB) in Machine Translation (MT) scenarios. Graph Attention Network (GAT) and BERT jointly represent syntactic dependency feature as explicit knowledge of the source language to enrich source language representations and guide target language generation. Our experiments use gold syntax-annotation sentences and Quality Estimation (QE) model to obtain interpretability of translation quality improvement regarding syntactic knowledge without being limited to a BLEU score. Experiments show that the proposed SGB engines improve translation quality across the three MT tasks without sacrificing BLEU scores. We investigate what length of source sentences benefits the most and what dependencies are better identified by the SGB engines. We also find that learning of specific dependency relations by GAT can be reflected in the translation quality containing such relations and that syntax on the graph leads to new modeling of syntactic aspects of source sentences in the middle and bottom layers of BERT.
• Abstract（参考訳）: トランスフォーマーモデルは,自己着脱機構によって文脈特徴を効果的に獲得できるが,深い構文知識は依然として効果的にモデル化されていない。 上記の問題を緩和するために,機械翻訳 (MT) シナリオにおいて, BERT (SGB) を用いてグラフ注意による構文知識を提案する。 graph attention network (gat) と bert は、ソース言語の明示的な知識として構文依存の特徴を表現し、ソース言語表現を豊かにし、ターゲット言語生成を導く。 本実験では,金の構文アノテーション文と品質評価(QE)モデルを用いて,BLEUスコアに制限されずに構文知識に関する翻訳品質改善の解釈可能性を得る。 実験の結果,提案するSGBエンジンはBLEUスコアを犠牲にすることなく,MTタスクの翻訳品質を向上させることがわかった。 我々は、ソース文の長さと、sgbエンジンによって識別される依存関係について検討する。 また、GATによる特定の依存関係関係の学習は、そのような関係を含む翻訳品質に反映することができ、また、グラフ上の構文がBERTの中層と下層におけるソース文の構文的側面の新たなモデリングにつながることも見出した。

関連論文リスト

• Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
  本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。 次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
  論文  参考訳（メタデータ） (2023-11-27T08:38:42Z)
• Leveraging Language Identification to Enhance Code-Mixed Text Classification [0.7340017786387767]
  既存のディープラーニングモデルは、コード混合テキストの暗黙の言語情報を活用できない。 本研究の目的は,低リソースのCode-Mixed Hindi- Englishデータセット上でのBERTモデルの性能向上である。
  論文  参考訳（メタデータ） (2023-06-08T06:43:10Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification [2.982218441172364]
  グラフベース感性分類(ABSC)アプローチは、事前学習言語モデル(PLM)から文脈単語を埋め込んだ場合に、最先端の結果をもたらす。 本稿では,BERT の PLM からの文法的逐次的特徴と依存グラフからの構文的知識を統合する新しいモデル BERT4GCN を提案する。
  論文  参考訳（メタデータ） (2021-10-01T02:03:43Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding [0.0]
  概念的および曖昧な実体に対する知識グラフから知識コンテキストをトランスフォーマーアーキテクチャに基づくモデルに注入する手法を提案する。 私たちの新しい技術プロジェクト知識グラフは、同質ベクトル空間に埋め込み、エンティティのための新しいトークンタイプ、エンティティの位置IDの整列、および選択的注意メカニズムを導入します。 私たちはBERTをベースラインモデルとし、ConceptNetとWordNetから知識コンテキストを注入して「KnowledgeInfused BERT」を実装します。
  論文  参考訳（メタデータ） (2021-04-09T16:15:31Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。