論文の概要: Document Flattening: Beyond Concatenating Context for Document-Level Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2302.08079v1
• Date: Thu, 16 Feb 2023 04:38:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 15:03:07.584471
• Title: Document Flattening: Beyond Concatenating Context for Document-Level Neural Machine Translation
• Title（参考訳）: Document Flattening: ドキュメントレベルニューラルネットワーク翻訳におけるコンテキストの結合を超えて
• Authors: Minghao Wu, George Foster, Lizhen Qu, Gholamreza Haffari
• Abstract要約: Document Flattening(DocFlat)技術は、Flat-Batch Attention(FB)とNeural Context Gate(NCG)をTransformerモデルに統合する。 我々は、英語とドイツ語の翻訳のための3つのベンチマークデータセットに関する総合的な実験と分析を行う。
• 参考スコア（独自算出の注目度）: 45.56189820979461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing work in document-level neural machine translation commonly concatenates several consecutive sentences as a pseudo-document, and then learns inter-sentential dependencies. This strategy limits the model's ability to leverage information from distant context. We overcome this limitation with a novel Document Flattening (DocFlat) technique that integrates Flat-Batch Attention (FBA) and Neural Context Gate (NCG) into Transformer model to utilize information beyond the pseudo-document boundaries. FBA allows the model to attend to all the positions in the batch and learns the relationships between positions explicitly and NCG identifies the useful information from the distant context. We conduct comprehensive experiments and analyses on three benchmark datasets for English-German translation, and validate the effectiveness of two variants of DocFlat. Empirical results show that our approach outperforms strong baselines with statistical significance on BLEU, COMET and accuracy on the contrastive test set. The analyses highlight that DocFlat is highly effective in capturing the long-range information.
• Abstract（参考訳）: ドキュメントレベルのニューラルマシン翻訳における既存の仕事は、通常、複数の連続した文を擬似文書として結合し、その後、知覚間の依存関係を学ぶ。 この戦略は、遠方からの情報を活用するモデルの能力を制限する。 この制限を克服するために,fba(flat-batch attention)とncg(neural context gate)をトランスフォーマーモデルに統合した新しい文書フラット化(docflat)手法を提案する。 FBAは、モデルがバッチ内のすべての位置に参加することを許可し、位置間の関係を明示的に学習し、NCGは遠いコンテキストから有用な情報を識別する。 我々は、英語とドイツ語の翻訳のための3つのベンチマークデータセットに関する包括的な実験と分析を行い、2種類のDocFlatの有効性を検証した。 実験結果から, BLEU, COMET, および比較テストセットの精度において, 統計的に有意な差が認められた。 分析の結果,DocFlatは長距離情報の取得に極めて有効であることがわかった。

関連論文リスト

• Importance-Aware Data Augmentation for Document-Level Neural Machine Translation [51.74178767827934]
  ドキュメントレベルのニューラルマシン翻訳(DocNMT)は、一貫性と結合性の両方を持つ翻訳を生成することを目的としている。 長い入力長とトレーニングデータの可用性が限られているため、DocNMTはデータスパシティーの課題に直面していることが多い。 本稿では,隠れ状態のノルムとトレーニング勾配から推定したトークン重要度情報に基づいてトレーニングデータを拡張するDocNMTのための新しいIADAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T09:27:47Z)
• HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
  コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。 無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。 そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-17T12:07:13Z)
• SMDT: Selective Memory-Augmented Neural Document Translation [53.4627288890316]
  本稿では,文脈の広い仮説空間を含む文書を扱うために,選択的メモリ拡張型ニューラル文書翻訳モデルを提案する。 トレーニングコーパスから類似のバイリンガル文ペアを抽出し,グローバルな文脈を拡大する。 ローカルなコンテキストと多様なグローバルなコンテキストをキャプチャする選択的なメカニズムで、2ストリームのアテンションモデルを拡張する。
  論文  参考訳（メタデータ） (2022-01-05T14:23:30Z)
• Exploiting Global Contextual Information for Document-level Named Entity Recognition [46.99922251839363]
  我々は、GCDoc(Global Context enhanced Document-level NER)と呼ばれるモデルを提案する。 単語レベルでは、文書グラフは単語間のより広範な依存関係をモデル化するために構築される。 文レベルでは、単一文を超えてより広い文脈を適切にモデル化するために、横断文モジュールを用いる。 我々のモデルは、CoNLL 2003データセットで92.22(BERTで93.40)、Ontonotes 5.0データセットで88.32(BERTで90.49)のスコアに達した。
  論文  参考訳（メタデータ） (2021-06-02T01:52:07Z)
• Divide and Rule: Training Context-Aware Multi-Encoder Translation Models with Little Resources [20.057692375546356]
  マルチエンコーダモデルは、文書レベルのコンテキスト情報を現在の文と共にエンコードすることで、翻訳品質の向上を目指しています。 これらのパラメータのトレーニングは、コンテキストのトレーニング信号がスパースしているため、大量のデータを必要とする。 本稿では,並列文集合の訓練信号を豊かにするための,分割文対に基づく効率的な代替手法を提案する。
  論文  参考訳（メタデータ） (2021-03-31T15:15:32Z)
• Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling [34.93480801598084]
  1つの文書は一般に複数のエンティティペアを含み、1つのエンティティペアは複数の可能な関係に関連付けられた文書に複数回発生する。 適応しきい値と局所化コンテキストプーリングという2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T20:41:23Z)
• Document-level Neural Machine Translation with Document Embeddings [82.4684444847092]
  この研究は、複数の形式の文書埋め込みの観点から、詳細な文書レベルのコンテキストを活用することに重点を置いている。 提案する文書認識NMTは,大域的および局所的な文書レベルの手がかりをソース端に導入することにより,Transformerベースラインを強化するために実装されている。
  論文  参考訳（メタデータ） (2020-09-16T19:43:29Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。