論文の概要: Enhancing Cross-lingual Transfer via Phonemic Transcription Integration

• arxiv url: http://arxiv.org/abs/2307.04361v1
• Date: Mon, 10 Jul 2023 06:17:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 14:01:46.620743
• Title: Enhancing Cross-lingual Transfer via Phonemic Transcription Integration
• Title（参考訳）: 音素転写統合による言語間伝達の促進
• Authors: Hoang H. Nguyen, Chenwei Zhang, Tao Zhang, Eugene Rohrbaugh, Philip S. Yu
• Abstract要約: PhoneXLは、音素転写を言語間移動のための追加のモダリティとして組み込んだフレームワークである。 本研究は, 音素転写が, 言語間移動を促進するために, 正書法以外の重要な情報を提供することを示すものである。
• 参考スコア（独自算出の注目度）: 57.109031654219294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous cross-lingual transfer methods are restricted to orthographic representation learning via textual scripts. This limitation hampers cross-lingual transfer and is biased towards languages sharing similar well-known scripts. To alleviate the gap between languages from different writing scripts, we propose PhoneXL, a framework incorporating phonemic transcriptions as an additional linguistic modality beyond the traditional orthographic transcriptions for cross-lingual transfer. Particularly, we propose unsupervised alignment objectives to capture (1) local one-to-one alignment between the two different modalities, (2) alignment via multi-modality contexts to leverage information from additional modalities, and (3) alignment via multilingual contexts where additional bilingual dictionaries are incorporated. We also release the first phonemic-orthographic alignment dataset on two token-level tasks (Named Entity Recognition and Part-of-Speech Tagging) among the understudied but interconnected Chinese-Japanese-Korean-Vietnamese (CJKV) languages. Our pilot study reveals phonemic transcription provides essential information beyond the orthography to enhance cross-lingual transfer and bridge the gap among CJKV languages, leading to consistent improvements on cross-lingual token-level tasks over orthographic-based multilingual PLMs.
• Abstract（参考訳）: 従来の言語間移動法はテキストスクリプトによる正書法表現学習に限られていた。 この制限は言語間の移動を妨げ、よく知られたスクリプトを共有する言語に偏っている。 そこで本稿では,異なるスクリプト間の言語間ギャップを軽減するために,従来の正書法以外の言語的モダリティとして音素転写を取り入れたPhoneXLを提案する。 特に,(1)2つの異なるモーダル間の局所的な1対1のアライメント,(2)追加のモーダルからの情報を活用するための多モーダルコンテキストによるアライメント,(3)追加のバイリンガル辞書を組み込んだ多言語コンテキストによるアライメントなどを提案する。 また,日本語-韓国語-ベトナム語(CJKV)言語における2つのトークンレベルタスク(Named Entity RecognitionとPart-of-Speech Tagging)に関する最初の音韻・音声アライメントデータセットもリリースした。 CJKV言語間のギャップを埋めるため, 音素転写は正書法以外の重要な情報を提供し, 正書法に基づく多言語PLMよりも経時的トークンレベルのタスクが一貫した改善をもたらすことが明らかとなった。

関連論文リスト

• CORI: CJKV Benchmark with Romanization Integration -- A step towards Cross-lingual Transfer Beyond Textual Scripts [50.44270798959864]
  一部の言語は、他の言語よりも接続性が良く、ターゲット言語は、密接に関連する言語からの転送の恩恵を受けることができる。 本研究では,言語間移動におけるソース言語の影響について検討し,対象言語と高い接触を持つソース言語を選択することの重要性を示す。
  論文  参考訳（メタデータ） (2024-04-19T04:02:50Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Multilingual Pre-training with Language and Task Adaptation for Multilingual Text Style Transfer [14.799109368073548]
  事前学習したSeq2seqモデルmBARTを多言語テキストスタイルの転送に活用する。 機械翻訳データとゴールドアライメントの英語文を使えば、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-16T11:27:48Z)
• Syntax-augmented Multilingual BERT for Cross-lingual Transfer [37.99210035238424]
  この研究は、言語構文とトレーニングmBERTを明示的に提供することが、言語間転送に役立つことを示している。 実験の結果,mBERTの構文拡張は,一般的なベンチマーク上での言語間移動を改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-03T21:12:50Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
  本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。 提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。 また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
  論文  参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。