論文の概要: Investigating the Effect of Parallel Data in the Cross-Lingual Transfer for Vision-Language Encoders

• arxiv url: http://arxiv.org/abs/2504.21681v1
• Date: Wed, 30 Apr 2025 14:19:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 18:24:23.052109
• Title: Investigating the Effect of Parallel Data in the Cross-Lingual Transfer for Vision-Language Encoders
• Title（参考訳）: 視覚言語エンコーダの言語間移動における並列データの影響の検討
• Authors: Andrei-Alexandru Manea, Jindřich Libovický,
• Abstract要約: トレーニング済みのVision-Language(VL)モデルと下流タスクのトレーニングデータは英語でのみ利用可能である。 並列データを用いて、すでに訓練済みのエンコーダを転送する。 その結果,機械翻訳されたタスクデータでさえ,平均的,キャプション的,真に並列なデータの方が,いくつかの言語で優れていたことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most pre-trained Vision-Language (VL) models and training data for the downstream tasks are only available in English. Therefore, multilingual VL tasks are solved using cross-lingual transfer: fine-tune a multilingual pre-trained model or transfer the text encoder using parallel data. We study the alternative approach: transferring an already trained encoder using parallel data. We investigate the effect of parallel data: domain and the number of languages, which were out of focus in previous work. Our results show that even machine-translated task data are the best on average, caption-like authentic parallel data outperformed it in some languages. Further, we show that most languages benefit from multilingual training.
• Abstract（参考訳）: トレーニング済みのVision-Language(VL)モデルと下流タスクのトレーニングデータは英語でのみ利用可能である。 したがって、多言語VLタスクは、多言語間転送を用いて解決される:多言語事前訓練されたモデルを微調整するか、並列データを用いてテキストエンコーダを転送する。 並列データを用いて、すでに訓練済みのエンコーダを転送する。 並列データ(ドメインと言語数)の効果について検討するが、これは以前の研究では注目されなかった。 その結果,機械翻訳されたタスクデータでさえ,平均的,キャプション的,真に並列なデータの方が,いくつかの言語で優れていたことが判明した。 さらに、ほとんどの言語が多言語学習の恩恵を受けていることを示す。

関連論文リスト

• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• PEACH: Pre-Training Sequence-to-Sequence Multilingual Models for Translation with Semi-Supervised Pseudo-Parallel Document Generation [5.004814662623874]
  本稿では,多言語事前学習のための高品質な擬似並列データを生成する,新しい半教師付きSPDGを提案する。 実験の結果, PEACH はmT5 と mBART を様々な翻訳タスクで訓練する上で, 既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-03T18:19:26Z)
• On the Role of Parallel Data in Cross-lingual Transfer Learning [30.737717433111776]
  本稿では, 教師なし機械翻訳を用いて合成並列データを生成する方法について検討する。 モデルが生成した並列データでさえ、下流のタスクに役立ちます。 以上の結果から,既存の多言語モデルではモノリンガルデータの潜在能力を活用できないことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T11:23:04Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• Multilingual Neural Semantic Parsing for Low-Resourced Languages [1.6244541005112747]
  英語,イタリア語,日本語の新しい多言語意味解析データセットを提案する。 本研究では,事前学習したエンコーダを用いた多言語学習がTOPデータセットのベースラインを大幅に上回ることを示す。 英語データのみに基づいて訓練されたセマンティクスは、イタリア語の文に対して44.9%の精度でゼロショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-07T09:53:02Z)
• Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
  並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。 近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。 本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
  論文  参考訳（メタデータ） (2021-01-20T17:54:47Z)
• XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders [89.0059978016914]
  そこで本稿では,既製のクロスリンガルトランスフォーマでモデルを初期化し,多言語並列データで微調整するXLM-Tを提案する。 この単純な方法は,10対のWMTデータセットと94対のOPUS-100コーパスにおいて,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2020-12-31T11:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。