論文の概要: Do Explicit Alignments Robustly Improve Multilingual Encoders?

• arxiv url: http://arxiv.org/abs/2010.02537v1
• Date: Tue, 6 Oct 2020 07:43:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:37:23.015265
• Title: Do Explicit Alignments Robustly Improve Multilingual Encoders?
• Title（参考訳）: 明示的アライメントは多言語エンコーダを頑健に改善するか?
• Authors: Shijie Wu, Mark Dredze
• Abstract要約: 多言語エンコーダは、言語間表現を効果的に学習することができる。 EuroparlやMultiUNのようなbitextsに基づく明示的なアライメント目的は、これらの表現をさらに改善することが示されている。 このような信号をよりよく活用できる新しいコントラストアライメント目的を提案する。
• 参考スコア（独自算出の注目度）: 22.954688396858085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual BERT (mBERT), XLM-RoBERTa (XLMR) and other unsupervised multilingual encoders can effectively learn cross-lingual representation. Explicit alignment objectives based on bitexts like Europarl or MultiUN have been shown to further improve these representations. However, word-level alignments are often suboptimal and such bitexts are unavailable for many languages. In this paper, we propose a new contrastive alignment objective that can better utilize such signal, and examine whether these previous alignment methods can be adapted to noisier sources of aligned data: a randomly sampled 1 million pair subset of the OPUS collection. Additionally, rather than report results on a single dataset with a single model run, we report the mean and standard derivation of multiple runs with different seeds, on four datasets and tasks. Our more extensive analysis finds that, while our new objective outperforms previous work, overall these methods do not improve performance with a more robust evaluation framework. Furthermore, the gains from using a better underlying model eclipse any benefits from alignment training. These negative results dictate more care in evaluating these methods and suggest limitations in applying explicit alignment objectives.
• Abstract（参考訳）: マルチリンガルBERT(mBERT)、XLM-RoBERTa(XLMR)およびその他の教師なしマルチリンガルエンコーダは、言語間表現を効果的に学習することができる。 EuroparlやMultiUNのようなbitextに基づく明示的なアライメント目的は、これらの表現をさらに改善することが示されている。 しかし、単語レベルのアライメントはしばしば最適ではなく、そのようなバイテキストは多くの言語で利用できない。 本稿では,このような信号をより有効活用できる新しいコントラストアライメント目的を提案するとともに,これらのアライメント手法が,OPUSコレクションの100万組のランダムサンプルとして,アライメントデータのノイズの多いソースに適応できるかどうかを検討する。 さらに,1つのモデルが実行される1つのデータセットで結果を報告するのではなく,異なる種による複数の実行の平均と標準導出を4つのデータセットとタスクで報告する。 我々のより広範な分析により、我々の新しい目的は以前の作業より優れているが、これらの手法はより堅牢な評価フレームワークでパフォーマンスを向上しないことがわかった。 さらに、より良い基盤となるモデルを使用することで得られる利益は、アライメントトレーニングのメリットを生かします。 これらの否定的な結果は、これらの手法の評価においてより注意を喚起し、明示的なアライメント目的を適用する際の制限を提案する。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• How Transliterations Improve Crosslingual Alignment [48.929677368744606]
  近年の研究では、アライメント目的を用いた多言語事前学習言語モデル(mPLM)が言語横断アライメントを改善することが示されている。 本稿では, 言語間のアライメントを明示的に評価し, 翻訳に基づくアプローチにおける重要な要素を同定し, 性能向上に寄与する。
  論文  参考訳（メタデータ） (2024-09-25T20:05:45Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Multilingual Sentence Transformer as A Multilingual Word Aligner [15.689680887384847]
  多言語文 Transformer LaBSE が強い多言語単語アライメント器であるかどうかを検討する。 7つの言語対の実験結果から、最も優れたコーディネータは、すべての品種の過去の最先端モデルよりも優れていることが示された。 コーディネータは1つのモデルで異なる言語ペアをサポートし、ファインタニングプロセスに現れないゼロショット言語ペア上で新しい最先端の言語ペアを実現する。
  論文  参考訳（メタデータ） (2023-01-28T09:28:55Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。