論文の概要: Addressing Zero-Resource Domains Using Document-Level Context in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2004.14927v2
• Date: Mon, 19 Apr 2021 11:25:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:33:38.180803
• Title: Addressing Zero-Resource Domains Using Document-Level Context in Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳における文書レベルコンテキストを用いたゼロリソースドメインの対応
• Authors: Dario Stojanovski, Alexander Fraser
• Abstract要約: ドメイン内の並列データが利用できない場合、文書レベルのコンテキストへのアクセスにより、ドメインの一般性をよりよくキャプチャできることを示す。 文書レベルのトランスフォーマーモデルとして,大きなコンテキストサイズを利用できる2つのモデルを提案する。
• 参考スコア（独自算出の注目度）: 80.40677540516616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving satisfying performance in machine translation on domains for which there is no training data is challenging. Traditional supervised domain adaptation is not suitable for addressing such zero-resource domains because it relies on in-domain parallel data. We show that when in-domain parallel data is not available, access to document-level context enables better capturing of domain generalities compared to only having access to a single sentence. Having access to more information provides a more reliable domain estimation. We present two document-level Transformer models which are capable of using large context sizes and we compare these models against strong Transformer baselines. We obtain improvements for the two zero resource domains we study. We additionally provide an analysis where we vary the amount of context and look at the case where in-domain data is available.
• Abstract（参考訳）: トレーニングデータがない領域での機械翻訳の性能を満足させることは困難である。 従来の教師付きドメイン適応は、ドメイン内並列データに依存するため、そのようなゼロリソースドメインに対処するには適していない。 ドメイン内の並列データが利用できない場合、ドキュメントレベルのコンテキストへのアクセスは1文のみにアクセスするよりもドメインの汎用性をよりよくキャプチャできることを示す。 より多くの情報にアクセスすることで、より信頼性の高いドメイン推定が可能になる。 本稿では,大きなコンテキストサイズを使用できる文書レベルのトランスフォーマーモデルを2つ提案し,これらモデルを強力なトランスフォーマーベースラインと比較する。 我々は研究する2つのゼロリソースドメインの改善を得る。 さらに、コンテキストの量を変えて、ドメイン内のデータが利用可能な場合を分析する分析も行います。

関連論文リスト

• M2D2: A Massively Multi-domain Language Modeling Dataset [76.13062203588089]
  ドメイン適応(LM)を研究するための細粒度多ドメインコーパスM2D2を提案する。 ウィキペディアとArXivから派生したカテゴリを用いて、各データソース内のドメインを22のグループに分類する。 我々は、LMをドメイン階層に沿って適用することの利点を示し、より少量のドメイン固有のデータに適応することで、ドメイン内のパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2022-10-13T21:34:52Z)
• Domain-Specific Text Generation for Machine Translation [7.803471587734353]
  ドメイン固有データ拡張のための最先端事前学習言語モデル(LM)を利用したドメイン適応手法を提案する。 我々は、ドメイン内テキストの翻訳を大幅に改善するモデルを訓練するために、混合微調整を用いています。
  論文  参考訳（メタデータ） (2022-08-11T16:22:16Z)
• Translation Transformers Rediscover Inherent Data Domains [0.0]
  NMT変換器が学習した文表現を分析し,テキスト領域の情報を明示的に含んでいることを示す。 この内部情報は、その下にあるドメインの文を、監督なしでクラスタリングするのに十分であることを示す。 NMTモデルは、事前訓練された言語モデル(LM)と比較して、実際のドメインに整合したクラスタを生成することを示す。
  論文  参考訳（メタデータ） (2021-09-16T10:58:13Z)
• Data Augmentation for Cross-Domain Named Entity Recognition [22.66649873447105]
  名前付きエンティティ認識タスクのためのドメイン間データ拡張について検討する。 本稿では,データ表現を高リソースから低リソース領域に変換する新しいニューラルアーキテクチャを提案する。 本研究では,低リソース領域の表現にデータを変換することで,高リソース領域のデータのみを使用することによる大幅な改善を実現することを示す。
  論文  参考訳（メタデータ） (2021-09-04T00:50:55Z)
• DINO: A Conditional Energy-Based GAN for Domain Translation [67.9879720396872]
  ドメイン翻訳は、共通のセマンティクスを維持しながら、あるドメインから別のドメインにデータを変換するプロセスです。 最も人気のあるドメイン翻訳システムは条件付き生成逆数ネットワークに基づいている。 本稿では,2つのネットワークを同時に教師付きで訓練し,反対方向のドメイン翻訳を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-18T11:52:45Z)
• Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation [56.94873619509414]
  従来の教師なしドメイン適応は、限られた数のドメイン間の知識伝達を研究する。 本稿では,特徴不整合とグラム行列の連成学習に基づいて,視覚領域のベクトル表現を提供する新しいDomain2Vecモデルを提案する。 我々の埋め込みは、異なるドメイン間の視覚的関係に関する直感と一致するドメイン類似性を予測できることを示した。
  論文  参考訳（メタデータ） (2020-07-17T22:05:09Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)
• Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
  大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。 このようなモデルに基づくドメインデータ選択手法を提案する。 我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
  論文  参考訳（メタデータ） (2020-04-05T06:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。