論文の概要: P-Transformer: Towards Better Document-to-Document Neural Machine
Translation
- arxiv url: http://arxiv.org/abs/2212.05830v1
- Date: Mon, 12 Dec 2022 11:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 16:11:31.545815
- Title: P-Transformer: Towards Better Document-to-Document Neural Machine
Translation
- Title（参考訳）: P-Transformer: ドキュメントからドキュメントへのニューラルマシン翻訳の改善を目指す
- Authors: Yachao Li, Junhui Li, Jing Jiang, Shimin Tao, Hao Yang and Min Zhang
- Abstract要約: 位置認識変換器(P-Transformer)を提案する。
P-Transformerは、seq2seqベースのDoc2Sentと文間翻訳(Sent2Sent)に適用できる。
- 参考スコア（独自算出の注目度）: 34.19199123088232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Directly training a document-to-document (Doc2Doc) neural machine translation
(NMT) via Transformer from scratch, especially on small datasets usually fails
to converge. Our dedicated probing tasks show that 1) both the absolute
position and relative position information gets gradually weakened or even
vanished once it reaches the upper encoder layers, and 2) the vanishing of
absolute position information in encoder output causes the training failure of
Doc2Doc NMT. To alleviate this problem, we propose a position-aware Transformer
(P-Transformer) to enhance both the absolute and relative position information
in both self-attention and cross-attention. Specifically, we integrate absolute
positional information, i.e., position embeddings, into the query-key pairs
both in self-attention and cross-attention through a simple yet effective
addition operation. Moreover, we also integrate relative position encoding in
self-attention. The proposed P-Transformer utilizes sinusoidal position
encoding and does not require any task-specified position embedding, segment
embedding, or attention mechanism. Through the above methods, we build a
Doc2Doc NMT model with P-Transformer, which ingests the source document and
completely generates the target document in a sequence-to-sequence (seq2seq)
way. In addition, P-Transformer can be applied to seq2seq-based
document-to-sentence (Doc2Sent) and sentence-to-sentence (Sent2Sent)
translation. Extensive experimental results of Doc2Doc NMT show that
P-Transformer significantly outperforms strong baselines on widely-used 9
document-level datasets in 7 language pairs, covering small-, middle-, and
large-scales, and achieves a new state-of-the-art. Experimentation on discourse
phenomena shows that our Doc2Doc NMT models improve the translation quality in
both BLEU and discourse coherence. We make our code available on Github.
- Abstract（参考訳）: document-to-document (doc2doc)neural machine translation (nmt)をtransformer経由で直接トレーニングする。
私たちの専門的な調査課題は
1) 絶対位置情報と相対位置情報の両方が上エンコーダ層に到達すると徐々に弱まるか、あるいは消えてしまう。
2)エンコーダ出力における絶対位置情報の消滅はDoc2Doc NMTのトレーニング失敗を引き起こす。
そこで,本研究では,位置認識トランス(p-transformer,p-transformer,p-transformer)を提案する。
具体的には,絶対的な位置情報,すなわち位置埋め込みを,単純かつ効果的な加算操作を通じて,自己参照とクロスアテンションの両方においてクエリキーペアに統合する。
さらに,相対的な位置エンコーディングを自己注意に組み込む。
提案するP-Transformerは正弦波位置符号化を利用しており,タスク特定位置埋め込み,セグメント埋め込み,アテンション機構を必要としない。
P-Transformerを用いてDoc2Doc NMTモデルを構築し、ソース文書を取り込み、シーケンシャル・ツー・シーケンス(seq2seq)方式でターゲット文書を完全に生成する。
さらに、p-transformer は seq2seq-based document-to-sentence (doc2sent) および sentence-to-sentence (sent2sent) 翻訳に適用することができる。
doc2doc nmtの広範な実験結果によると、p-transformerは、7つの言語ペアで広く使われている9つのドキュメントレベルのデータセットの強いベースラインを上回っており、小規模、中規模、大規模をカバーする。
談話現象に関する実験により、私たちのDoc2Doc NMTモデルはBLEUと談話コヒーレンスの両方の翻訳品質を改善した。
コードをgithubで公開しています。
関連論文リスト
- On Search Strategies for Document-Level Neural Machine Translation [51.359400776242786]
文書レベルのニューラルネットワーク変換(NMT)モデルは、ドキュメント全体にわたってより一貫性のある出力を生成する。
そこで本研究では,デコードにおける文脈認識翻訳モデルをどのように活用するか,という質問に答えることを目的としている。
論文 参考訳（メタデータ） (2023-06-08T11:30:43Z) - A General-Purpose Multilingual Document Encoder [9.868221447090855]
階層トランスモデル(HMDE)として多言語文書エンコーダを事前訓練する。
トレーニングデータを作成するために、ウィキペディアを同等のドキュメントのソースとして利用しています。
言語間文書レベルのタスクにおいて,HMDEの有効性について検討した。
論文 参考訳（メタデータ） (2023-05-11T17:55:45Z) - Document Flattening: Beyond Concatenating Context for Document-Level
Neural Machine Translation [45.56189820979461]
Document Flattening(DocFlat)技術は、Flat-Batch Attention(FB)とNeural Context Gate(NCG)をTransformerモデルに統合する。
我々は、英語とドイツ語の翻訳のための3つのベンチマークデータセットに関する総合的な実験と分析を行う。
論文 参考訳（メタデータ） (2023-02-16T04:38:34Z) - Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
本稿では,時間文グラウンドリングのマルチメディア問題について検討する。
与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
論文 参考訳（メタデータ） (2022-08-31T14:16:56Z) - Dynamic Position Encoding for Transformers [18.315954297959617]
再発モデルは、過去数年間、ニューラルネットワーク翻訳(NMT)の分野を支配してきた。
トランスフォーマーは、非リカレントな性質のため、シーケンシャル/ポジション情報を適切にエンコードできない可能性がある。
本稿では,この欠点に対処するため,入力テキストに応じて新しい位置埋め込みを持つ新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-04-18T03:08:48Z) - Rethinking and Improving Relative Position Encoding for Vision
Transformer [61.559777439200744]
リレーショナル位置符号化(RPE)は、トランスフォーマーが入力トークンのシーケンス順序をキャプチャする上で重要である。
画像RPE(iRPE)と呼ばれる2次元画像専用の新しい相対的位置符号化法を提案する。
論文 参考訳（メタデータ） (2021-07-29T17:55:10Z) - Long-Short Term Masking Transformer: A Simple but Effective Baseline for
Document-level Neural Machine Translation [28.94748226472447]
文書レベルの翻訳における標準変換器の長所と短所について検討する。
本稿では,標準変圧器上での自己注意を隠蔽する,驚くほど単純な長短項マスクを提案する。
BLEUの強い結果が得られ、談話現象を捉えることができる。
論文 参考訳（メタデータ） (2020-09-19T00:29:51Z) - Document-level Neural Machine Translation with Document Embeddings [82.4684444847092]
この研究は、複数の形式の文書埋め込みの観点から、詳細な文書レベルのコンテキストを活用することに重点を置いている。
提案する文書認識NMTは,大域的および局所的な文書レベルの手がかりをソース端に導入することにより,Transformerベースラインを強化するために実装されている。
論文 参考訳（メタデータ） (2020-09-16T19:43:29Z) - Modeling Discourse Structure for Document-level Neural Machine
Translation [38.085454497395446]
談話構造情報を用いて文書レベルのNMTを改善することを提案する。
具体的には、まず入力文書を解析し、その談話構造を得る。
次にトランスフォーマーベースのパスエンコーダを導入し,各単語の談話構造情報を埋め込む。
最後に、談話構造情報をエンコーダに入力する前に埋め込む単語と組み合わせる。
論文 参考訳（メタデータ） (2020-06-08T16:24:03Z) - Explicit Reordering for Neural Machine Translation [50.70683739103066]
Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。
本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。
WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
論文 参考訳（メタデータ） (2020-04-08T05:28:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。