論文の概要: Mask-Align: Self-Supervised Neural Word Alignment

• arxiv url: http://arxiv.org/abs/2012.07162v1
• Date: Sun, 13 Dec 2020 21:44:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-09 12:46:15.960474
• Title: Mask-Align: Self-Supervised Neural Word Alignment
• Title（参考訳）: Mask-Align: 自己監督型ニューラルワードアライメント
• Authors: Chi Chen, Maosong Sun, and Yang Liu
• Abstract要約: Mask-Alignは、単語アライメントタスク用に特別に設計された自己監督モデルです。 我々のモデルでは,各トークンを並列にマスクし,予測し,教師付き損失を伴わずに高品質なアライメントを抽出する。
• 参考スコア（独自算出の注目度）: 47.016975106231875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural word alignment methods have received increasing attention recently. These methods usually extract word alignment from a machine translation model. However, there is a gap between translation and alignment tasks, since the target future context is available in the latter. In this paper, we propose Mask-Align, a self-supervised model specifically designed for the word alignment task. Our model parallelly masks and predicts each target token, and extracts high-quality alignments without any supervised loss. In addition, we introduce leaky attention to alleviate the problem of unexpected high attention weights on special tokens. Experiments on four language pairs show that our model significantly outperforms all existing unsupervised neural baselines and obtains new state-of-the-art results.
• Abstract（参考訳）: 近年,ニューラルワードアライメント手法が注目されている。 これらの手法は通常機械翻訳モデルから単語アライメントを抽出する。 しかし、対象とする将来のコンテキストが後者で利用可能であるため、翻訳タスクとアライメントタスクの間にはギャップがある。 本稿では,単語アライメントタスク用に設計された自己教師付きモデルであるmask-alignを提案する。 我々のモデルでは,各トークンを並列にマスクし,予測し,教師付き損失を伴わずに高品質なアライメントを抽出する。 さらに,特別なトークンに対する予期せぬ高い注意重みの問題を軽減するために,漏洩注意を導入する。 4つの言語対の実験により、我々のモデルは既存の教師なしの神経ベースラインを著しく上回り、新しい最先端の結果が得られることが示された。

関連論文リスト

• Beyond Image-Text Matching: Verb Understanding in Multimodal Transformers Using Guided Masking [0.4543820534430524]
  この研究はガイドマスキング(英語版)と呼ばれる代替の探索戦略を導入する。 提案手法はマスキングを用いて異なるモダリティを識別し、マスキングされた単語を高精度に予測するモデルの能力を評価する。 ViLBERT,LXMERT,UNITER,VisualBERTの誘導マスキングにより,正しい動詞を高精度に予測できることを示す。
  論文  参考訳（メタデータ） (2024-01-29T21:22:23Z)
• Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
  モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。 対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。 我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-27T21:16:10Z)
• Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment [49.45399359826453]
  言語間の言語モデルは通常、多言語テキストやパラレル文の言語モデリングで事前訓練される。 本稿では,新たな言語間事前学習課題として認知単語アライメントを導入する。 実験結果から,本手法は各種データセットの言語間移動性を向上することが示された。
  論文  参考訳（メタデータ） (2021-06-11T13:36:01Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• SLUA: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning [79.91678610678885]
  超軽量非教師付き単語アライメントモデル(SLUA)を提案する。 いくつかの公開ベンチマークによる実験結果から,我々のモデルは性能が向上しても競争力を発揮することが示された。 特に、我々のモデルはバイリンガル単語の埋め込みと単語のアライメントを統一する先駆的な試みであると認識している。
  論文  参考訳（メタデータ） (2021-02-08T05:54:11Z)
• Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
  並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。 近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。 本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
  論文  参考訳（メタデータ） (2021-01-20T17:54:47Z)
• Generative Pre-training for Paraphrase Generation by Representing and Predicting Spans in Exemplars [0.8411385346896411]
  本稿では, GPT-2モデルから拡張した言い換え文に対する新しいアプローチを提案する。 本研究では,POSタグを用いたテンプレートマスキング手法を開発し,無関係な単語をマスクアウトする。 提案手法は,特に意味保存面において,競争基準よりも優れている。
  論文  参考訳（メタデータ） (2020-11-29T11:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。