論文の概要: Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2201.08070v1
• Date: Thu, 20 Jan 2022 09:10:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 13:55:24.324003
• Title: Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation
• Title（参考訳）: 低リソースニューラルマシン翻訳のための言語駆動マルチタスク事前学習
• Authors: Zhuoyuan Mao, Chenhui Chu, Sadao Kurohashi
• Abstract要約: 本稿では,日本語を母語とする言語対に対する日本語固有のシーケンス to sequence (JASS) と,英語を含む言語対に対する英語固有のシーケンス to sequence (ENSS) を提案する。 JASSは文節(ぶんせつ)として知られる日本語単位のマスキングとリオーダーに重点を置いており、ENSSは句構造マスキングとリオーダータスクに基づいて提案されている。
• 参考スコア（独自算出の注目度）: 31.225252462128626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the present study, we propose novel sequence-to-sequence pre-training objectives for low-resource machine translation (NMT): Japanese-specific sequence to sequence (JASS) for language pairs involving Japanese as the source or target language, and English-specific sequence to sequence (ENSS) for language pairs involving English. JASS focuses on masking and reordering Japanese linguistic units known as bunsetsu, whereas ENSS is proposed based on phrase structure masking and reordering tasks. Experiments on ASPEC Japanese--English & Japanese--Chinese, Wikipedia Japanese--Chinese, News English--Korean corpora demonstrate that JASS and ENSS outperform MASS and other existing language-agnostic pre-training methods by up to +2.9 BLEU points for the Japanese--English tasks, up to +7.0 BLEU points for the Japanese--Chinese tasks and up to +1.3 BLEU points for English--Korean tasks. Empirical analysis, which focuses on the relationship between individual parts in JASS and ENSS, reveals the complementary nature of the subtasks of JASS and ENSS. Adequacy evaluation using LASER, human evaluation, and case studies reveals that our proposed methods significantly outperform pre-training methods without injected linguistic knowledge and they have a larger positive impact on the adequacy as compared to the fluency. We release codes here: https://github.com/Mao-KU/JASS/tree/master/linguistically-driven-pretraining.
• Abstract（参考訳）: 本研究では,低リソース機械翻訳(nmt)のための新しいシーケンス・ツー・シーケンス事前学習目標,日本語をソースまたはターゲット言語とする言語ペアの日本語固有シーケンス(jass),英語を含む言語ペアの英語固有シーケンス(enss)を提案する。 JASSは文節(ぶんせつ)として知られる日本語単位のマスキングとリオーダーに重点を置いており、ENSSは句構造マスキングとリオーダータスクに基づいて提案されている。 aspec japanese-english and japanese- chinese, wikipedia japanese- chinese, news english-korean corpora 実験によると、jass と enss は、日英タスクで+2.9 bleu point、日英タスクで +7.0 bleu point、英語-韓国タスクで +1.3 bleu point という、既存の言語非依存のプリトレーニングメソッドよりも優れている。 JASS と ENSS の個々の部分間の関係に着目した経験的分析は、JASS と ENSS のサブタスクの相補的な性質を明らかにする。 LAERを用いた精度評価,人体評価,ケーススタディにより,提案手法は言語知識を注入せずに事前学習法を有意に上回り,流布率に比べて高い正の影響を与えることが明らかとなった。 https://github.com/Mao-KU/JASS/tree/master/linguistically-driven-pretraining。

関連論文リスト

• JMMMU: A Japanese Massive Multi-discipline Multimodal Understanding Benchmark for Culture-aware Evaluation [63.83457341009046]
  JMMMU(JMMMU、日本語MMMU)は、日本の文化状況に基づいて、専門家レベルのタスクでLMMを評価するために設計された、日本初の大規模ベンチマークである。 CAサブセットを用いて、日本語で評価すると、多くのLMMのパフォーマンス低下が観察される。 両サブセットを組み合わせることで,一部のLMMはCAサブセットでは良好に機能するが,CSサブセットでは機能しないことが明らかとなり,文化的理解の深みに欠ける日本語の理解が浅かった。
  論文  参考訳（メタデータ） (2024-10-22T17:59:56Z)
• Deep Exploration of Cross-Lingual Zero-Shot Generalization in Instruction Tuning [47.75550640881761]
  非英語タスクに適用することで、命令チューニングにおける言語間一般化について検討する。 我々は、言語における不一致を軽減するために言語間テンプレートを設計し、トレーニングと推論の間のテンプレートの命令形式を規定する。 実験の結果,英語と韓国語の両方の言語間一般化による一貫した改善が示された。
  論文  参考訳（メタデータ） (2024-06-13T04:10:17Z)
• Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly [53.04368883943773]
  これに対処する2つのアプローチ、すなわち、多言語事前学習と多言語命令チューニングを提案する。 性能, 一貫性, 導電率レベルにおけるLLMの言語間知識アライメントを評価するために, CLiKAを提案する。 その結果、多言語事前学習と指導訓練は、多言語間知識アライメントに有用であるが、訓練戦略を慎重に設計する必要があることが示唆された。
  論文  参考訳（メタデータ） (2024-04-06T15:25:06Z)
• Exploration of Language Dependency for Japanese Self-Supervised Speech Representation Models [18.22157315310462]
  自己教師付き学習(SSL)はモノリンガルだけでなく、言語横断的な設定でも劇的に成功している。 本稿では,単言語モデルとの比較において,言語間モデルの有効性について検討する。 日本語で収集されたラベルのないデータは、何万時間もの英語および/または多言語データで事前訓練された言語間モデルに匹敵する性能を達成するために、どの程度のラベル付きデータが必要であるかを検討する。
  論文  参考訳（メタデータ） (2023-05-09T06:28:10Z)
• JCSE: Contrastive Learning of Japanese Sentence Embeddings and Its Applications [4.482886054198201]
  JCSEは、文を生成し、それらをターゲットドメインで利用可能な文で合成することで、トレーニングデータを生成する。 次に、日本語モデルを対象領域の特定のタスクに適応させるために、対照的な学習に使用される矛盾した文対を生成する。
  論文  参考訳（メタデータ） (2023-01-19T17:41:46Z)
• Compositional Evaluation on Japanese Textual Entailment and Similarity [20.864082353441685]
  自然言語推論(NLI)とセマンティックテキスト類似性(STS)は、事前訓練された言語モデルの合成評価に広く用いられている。 言語普遍論への関心が高まりつつあるにもかかわらず、ほとんどのNLI/STS研究は英語にのみ焦点を絞っている。 日本語で利用可能な多言語NLI/STSデータセットは存在しない。
  論文  参考訳（メタデータ） (2022-08-09T15:10:56Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• JASS: Japanese-specific Sequence to Sequence Pre-training for Neural Machine Translation [27.364702152624034]
  JASSはBMASS(Bunsetsu MASS)とBRSS(Bunsetsu Reordering Sequence to Sequence)の共同トレーニングである。 今回,MASS と JASS の併用による事前学習が,個々の手法をはるかに上回る結果となった。 我々は、研究者が自身のNLPタスクで使うためのリソースとして、コード、事前訓練されたモデル、および文節アノテーション付きデータを公開します。
  論文  参考訳（メタデータ） (2020-05-07T09:53:25Z)
• Self-Attention with Cross-Lingual Position Representation [112.05807284056337]
  位置符号化(PE)は、自然言語処理タスクの単語順序情報を保存し、入力シーケンスの固定位置インデックスを生成する。 語順が異なるため、言語間の位置関係をモデル化することは、SANがこの問題に取り組むのに役立つ。 我々は、入力文のバイリンガル認識潜在構造をモデル化するために、言語間位置表現によるSANを拡大する。
  論文  参考訳（メタデータ） (2020-04-28T05:23:43Z)
• Pre-training via Leveraging Assisting Languages and Data Selection for Neural Machine Translation [49.51278300110449]
  興味のある言語に対する単言語コーパスの不足を補うために,他の言語の単言語コーパスを活用することを提案する。 低リソースの日英ニューラルマシン翻訳(NMT)のケーススタディでは、中国語とフランス語のモノリンガルコーパスを活用することで、日本語と英語のモノリンガルコーパスの不足を克服できることが示された。
  論文  参考訳（メタデータ） (2020-01-23T02:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。