論文の概要: On the Role of Parallel Data in Cross-lingual Transfer Learning

• arxiv url: http://arxiv.org/abs/2212.10173v1
• Date: Tue, 20 Dec 2022 11:23:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 15:31:51.492303
• Title: On the Role of Parallel Data in Cross-lingual Transfer Learning
• Title（参考訳）: 言語間伝達学習における並列データの役割について
• Authors: Machel Reid and Mikel Artetxe
• Abstract要約: 本稿では, 教師なし機械翻訳を用いて合成並列データを生成する方法について検討する。 モデルが生成した並列データでさえ、下流のタスクに役立ちます。 以上の結果から,既存の多言語モデルではモノリンガルデータの潜在能力を活用できないことが示唆された。
• 参考スコア（独自算出の注目度）: 30.737717433111776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While prior work has established that the use of parallel data is conducive for cross-lingual learning, it is unclear if the improvements come from the data itself, or if it is the modeling of parallel interactions that matters. Exploring this, we examine the usage of unsupervised machine translation to generate synthetic parallel data, and compare it to supervised machine translation and gold parallel data. We find that even model generated parallel data can be useful for downstream tasks, in both a general setting (continued pretraining) as well as the task-specific setting (translate-train), although our best results are still obtained using real parallel data. Our findings suggest that existing multilingual models do not exploit the full potential of monolingual data, and prompt the community to reconsider the traditional categorization of cross-lingual learning approaches.
• Abstract（参考訳）: 従来の研究は、並列データの使用が言語間学習に有効であることを確認したが、改善がデータ自体から来るのか、それが重要な並列インタラクションのモデリングなのかは定かではない。 本研究では,教師なし機械翻訳を用いて合成並列データを生成し,教師なし機械翻訳とゴールド並列データとの比較を行った。 モデル生成の並列データでさえも、通常の設定(継続前訓練)とタスク固有の設定(トランザクタ-トレイン)の両方において下流タスクに有用であるが、最良の結果はまだ実際の並列データを使って得られている。 本研究は,既存の多言語モデルがモノリンガルデータの潜在能力を最大限活用していないことを示唆し,従来の言語間学習アプローチの分類を再考する。

関連論文リスト

• Enhancing Translation Accuracy of Large Language Models through Continual Pre-Training on Parallel Data [13.587157318352869]
  本稿では,並列データに対して,事前学習された大規模言語モデルを継続的に事前学習する2相学習手法を提案する。 日本語と英語と日本語の13種類のテストセットを用いて,これらの手法の評価を行った。
  論文  参考訳（メタデータ） (2024-07-03T14:23:36Z)
• A Morphologically-Aware Dictionary-based Data Augmentation Technique for Machine Translation of Under-Represented Languages [31.18983138590214]
  本稿では,モルフォシンタクティック情報とバイリンガル辞書を用いて並列データを合成する手法を提案する。 我々の手法は、小さな並列シードデータによって支えられた現実的なシナリオに固執する。 文法的に正しい可能性が高い拡張データを作成することを目的としており、言語的に知らされている。
  論文  参考訳（メタデータ） (2024-02-02T22:25:44Z)
• Parallel Data Helps Neural Entity Coreference Resolution [1.0914300987810126]
  並列データからコア参照知識を利用するモデルを提案する。 アノテーションからコア参照を学習する従来のモジュールに加えて、言語間のコア参照知識をキャプチャする教師なしモジュールも導入する。 提案した言語間モデルでは,OntoNotes 5.0 の英語データセットにおいて,最大 1.74 ポイントで一貫した改善が達成されている。
  論文  参考訳（メタデータ） (2023-05-28T12:30:23Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• Cross-language Sentence Selection via Data Augmentation and Rationale Training [22.106577427237635]
  雑音のある並列文データに対するデータ拡張と負のサンプリング技術を用いて、言語間埋め込みに基づくクエリ関連モデルの学習を行う。 その結果、同じ並列データでトレーニングされた複数の最先端機械翻訳+モノリンガル検索システムよりも、このアプローチが優れているか、あるいは優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-04T07:08:47Z)
• Meta Back-translation [111.87397401837286]
  プリトレーニングされたバック翻訳モデルから擬似並列データを生成する新しい手法を提案する。 本手法は,生成する擬似並列データに対して,検証セット上で良好な処理を行うためのフォワードトランスレーションモデルを訓練するように,事前訓練されたバックトランスレーションモデルを適用するメタラーニングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-02-15T20:58:32Z)
• Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
  並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。 近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。 本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
  論文  参考訳（メタデータ） (2021-01-20T17:54:47Z)
• Parallel Training of Deep Networks with Local Updates [84.30918922367442]
  ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。 我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
  論文  参考訳（メタデータ） (2020-12-07T16:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。