論文の概要: Document Graph for Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2012.03477v2
- Date: Tue, 8 Dec 2020 07:03:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 21:32:05.135210
- Title: Document Graph for Neural Machine Translation
- Title(参考訳): ニューラルマシン翻訳のための文書グラフ
- Authors: Mingzhou Xu, Liangyou Li, Derek. F. Wong, Qun Liu, Lidia S. Chao
- Abstract要約: 文書は, 距離に関係なく, 関連コンテキストを関連づけるグラフとして表現できることを示す。
IWSLT English- French, Chinese- English, WMT English-German and Opensubtitle English- Russian などの様々なNMTベンチマークの実験では、文書グラフの使用により翻訳品質が大幅に向上することを示した。
- 参考スコア(独自算出の注目度): 42.13593962963306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Previous works have shown that contextual information can improve the
performance of neural machine translation (NMT). However, most existing
document-level NMT methods failed to leverage contexts beyond a few set of
previous sentences. How to make use of the whole document as global contexts is
still a challenge. To address this issue, we hypothesize that a document can be
represented as a graph that connects relevant contexts regardless of their
distances. We employ several types of relations, including adjacency, syntactic
dependency, lexical consistency, and coreference, to construct the document
graph. Then, we incorporate both source and target graphs into the conventional
Transformer architecture with graph convolutional networks. Experiments on
various NMT benchmarks, including IWSLT English-French, Chinese-English, WMT
English-German and Opensubtitle English-Russian, demonstrate that using
document graphs can significantly improve the translation quality.
- Abstract(参考訳): これまでの研究で、文脈情報はニューラルマシン翻訳(NMT)の性能を向上させることが示されている。
しかし、既存の文書レベルのNMT手法は、いくつかの前の文以上の文脈を活用できなかった。
ドキュメント全体をグローバルなコンテキストとして利用する方法はまだ課題です。
この問題に対処するために、文書は距離に関係なく関連するコンテキストを接続するグラフとして表現できるという仮説を立てる。
文書グラフを構成するために, 隣接性, 構文依存性, 語彙一貫性, 共参照など, 様々な関係性を用いている。
次に、ソースグラフとターゲットグラフの両方を、グラフ畳み込みネットワークを用いた従来のトランスフォーマーアーキテクチャに組み込む。
IWSLT English- French, Chinese- English, WMT English-German and Opensubtitle English- Russian などの様々なNMTベンチマークの実験では、文書グラフの使用により翻訳品質が大幅に向上することを示した。
関連論文リスト
- Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。
本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。
各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
論文 参考訳(メタデータ) (2023-10-19T08:41:21Z) - On Search Strategies for Document-Level Neural Machine Translation [51.359400776242786]
文書レベルのニューラルネットワーク変換(NMT)モデルは、ドキュメント全体にわたってより一貫性のある出力を生成する。
そこで本研究では,デコードにおける文脈認識翻訳モデルをどのように活用するか,という質問に答えることを目的としている。
論文 参考訳(メタデータ) (2023-06-08T11:30:43Z) - Word Grounded Graph Convolutional Network [24.6338889954789]
グラフ畳み込みネットワーク(GCN)は、テキスト分類などの様々なタスクにおけるテキスト表現の学習において、高いパフォーマンスを示している。
本稿では,文書非依存グラフを用いて,文書グラフをワードグラフに変換し,データサンプルとGCNモデルを分離することを提案する。
提案したWord-level Graph(WGraph)は、コーパスで一般的に使われている単語共起による単語表現を暗黙的に学習するだけでなく、さらにグローバルなセマンティック依存も含んでいる。
論文 参考訳(メタデータ) (2023-05-10T19:56:55Z) - HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。
無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。
そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
論文 参考訳(メタデータ) (2023-01-17T12:07:13Z) - Contrastive Learning for Context-aware Neural Machine TranslationUsing
Coreference Information [14.671424999873812]
ソース文と文脈文のコア参照に基づく新しいデータ拡張とコントラスト学習方式であるCorefCLを提案する。
コンテキスト文で検出されたコア参照の言及を自動的に破損させることで、CorefCLはコア参照の不整合に敏感なモデルをトレーニングすることができる。
実験では,英語・ドイツ語・韓国語タスクの比較モデルのBLEUを一貫して改善した。
論文 参考訳(メタデータ) (2021-09-13T05:18:47Z) - Diving Deep into Context-Aware Neural Machine Translation [36.17847243492193]
本稿では,4つの領域における文書レベルのNMTモデルの性能を解析する。
ドキュメントレベルのNMTに最適なアプローチはひとつもありません。
論文 参考訳(メタデータ) (2020-10-19T13:23:12Z) - Document-level Neural Machine Translation with Document Embeddings [82.4684444847092]
この研究は、複数の形式の文書埋め込みの観点から、詳細な文書レベルのコンテキストを活用することに重点を置いている。
提案する文書認識NMTは,大域的および局所的な文書レベルの手がかりをソース端に導入することにより,Transformerベースラインを強化するために実装されている。
論文 参考訳(メタデータ) (2020-09-16T19:43:29Z) - Learning Contextualized Sentence Representations for Document-Level
Neural Machine Translation [59.191079800436114]
文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。
本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-30T03:38:01Z) - Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。
本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T03:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。