論文の概要: Machine-Created Universal Language for Cross-lingual Transfer

• arxiv url: http://arxiv.org/abs/2305.13071v1
• Date: Mon, 22 May 2023 14:41:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 15:25:01.652618
• Title: Machine-Created Universal Language for Cross-lingual Transfer
• Title（参考訳）: 言語間移動のための機械翻訳ユニバーサル言語
• Authors: Yaobo Liang, Quanzhi Zhu, Junhe Zhao and Nan Duan
• Abstract要約: 我々は,新しい中間言語として,MUL(Machine-created Universal Language)を提案する。 MULは、複数の自然言語からMULに翻訳するための普遍語彙とNL-MULトランスレータの集合からなる。 実験の結果,MUL への翻訳は多言語事前学習よりも優れた性能を示し,解析結果から MUL の解釈性は良好であることがわかった。
• 参考スコア（独自算出の注目度）: 48.82055630966244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are two types of approaches to solving cross-lingual transfer: multilingual pre-training implicitly aligns the hidden representations of different languages, while the translate-test explicitly translates different languages to an intermediate language, such as English. Translate-test has better interpretability compared to multilingual pre-training. However, the translate-test has lower performance than multilingual pre-training(Conneau and Lample, 2019; Conneau et al, 2020) and can't solve word-level tasks because translation rearranges the word order. Therefore, we propose a new Machine-created Universal Language (MUL) as a new intermediate language. MUL consists of a set of discrete symbols as universal vocabulary and NL-MUL translator for translating from multiple natural languages to MUL. MUL unifies common concepts from different languages into the same universal word for better cross-language transfer. And MUL preserves the language-specific words as well as word order, so the model can be easily applied to word-level tasks. Our experiments show that translating into MUL achieves better performance compared to multilingual pre-training, and our analyses show that MUL has good interpretability.
• Abstract（参考訳）: 多言語事前学習は異なる言語の隠れた表現を暗黙的に整列させ、翻訳-テストは英語のような中間言語に明示的に異なる言語を翻訳する。 翻訳テストは多言語事前学習よりも解釈性が高い。 しかし、翻訳テストは多言語事前学習(Conneau and Lample, 2019; Conneau et al, 2020)よりもパフォーマンスが低く、翻訳が単語順を並べ替えるため、単語レベルのタスクは解決できない。 そこで我々は,新しい中間言語として,MUL(Machine-created Universal Language)を提案する。 MULは、複数の自然言語からMULに翻訳するための普遍語彙とNL-MULトランスレータの集合からなる。 MULは、異なる言語から共通の概念を同じ普遍語に統一し、言語間移動を改善する。 また、MULは単語の順序だけでなく言語固有の単語も保存するので、単語レベルのタスクにも容易にモデルを適用することができる。 実験の結果,MULへの翻訳は多言語事前学習よりも優れた性能を示し,解析結果からMULの解釈性は良好であった。

関連論文リスト

• m3P: Towards Multimodal Multilingual Translation with Multimodal Prompt [39.2728779674405]
  マルチモーダル多言語ニューラルマシン翻訳(m3P)を導くためのマルチモーダルプロンプトを利用するフレームワークを提案する。 本手法は, 中心言語としてのイメージを考慮し, 異なる言語の表現距離を最小化することを目的とする。 実験の結果,m3Pは従来のテキストのみのベースラインや多言語マルチモーダルメソッドよりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-26T10:04:24Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation [94.33019040320507]
  マルチモーダル機械翻訳(MMT)は、視覚的特徴を持つテキストのみの翻訳を強化することに焦点を当てている。 最近の進歩は、各言語ペアごとに別々のモデルをトレーニングすることに苦慮している。 7つの言語をカバーする2つのMultilingual MMTベンチマークデータセットを確立することで,Multilingual MMTタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-19T12:21:39Z)
• Syntax-augmented Multilingual BERT for Cross-lingual Transfer [37.99210035238424]
  この研究は、言語構文とトレーニングmBERTを明示的に提供することが、言語間転送に役立つことを示している。 実験の結果,mBERTの構文拡張は,一般的なベンチマーク上での言語間移動を改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-03T21:12:50Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。