論文の概要: Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions
- arxiv url: http://arxiv.org/abs/2605.23885v1
- Date: Fri, 22 May 2026 17:45:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.45407
- Title: Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions
- Title（参考訳）: 語彙干渉によるデータ制約下での多言語的知識伝達
- Authors: Anastasiia Sedova, Natalie Schluter, Skyler Seto, Maartje ter Hoeve,
- Abstract要約: 言語間知識伝達は、高性能な多言語言語モデルを構築する上で重要である。
Linkは、モデル事前学習時の知識伝達を改善するデータレベルの介入手法である。
- 参考スコア（独自算出の注目度）: 15.357401973427974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-lingual knowledge transfer is critical for building high-performing multilingual language models for languages with insufficient training data. When target language data is scarce, the knowledge required for many downstream tasks involving scientific reasoning, commonsense inference, and world knowledge must be acquired primarily from the high-resource language, making effective knowledge transfer essential. Existing methods for improving such cross-lingual knowledge transfer require large amounts of parallel data, translation systems, auxiliary models, or additional training stages that are largely unavailable for many languages. We propose LINK - a data-level intervention method that improves knowledge transfer during model pretraining through lexical substitutions in high-resource part of pretraining data using bilingual vocabularies. For a given replacement ratio, randomly selected words in a portion of the high-resource (English) training corpus are swapped with their word-level translations, requiring no additional model training and only a bilingual vocabulary, which can be obtained at near-zero cost for virtually any language. Evaluation on eight languages across five model sizes shows notable improvements on downstream tasks in the target language, with up to a 2x speedup in training to reach equivalent performance.
- Abstract（参考訳）: 言語間の知識伝達は、訓練データが不十分な言語のための高性能な多言語言語モデルを構築するために重要である。
対象言語データが不足している場合、科学的推論、常識推論、世界知識を含む多くの下流タスクに必要な知識は、主に高リソース言語から取得され、効果的な知識伝達が不可欠である。
このような言語間の知識伝達を改善する既存の方法は、多くの言語では利用できない大量の並列データ、翻訳システム、補助モデル、追加の訓練段階を必要とする。
両言語語彙を用いた事前学習データの高リソース部分における語彙置換によるモデルの事前学習における知識伝達を改善するデータレベルの介入手法であるLINKを提案する。
任意の置換率に対して、高リソース(英語)トレーニングコーパスの一部のランダムに選択された単語を単語レベルの翻訳に置き換え、追加のモデルトレーニングを必要とせず、事実上任意の言語に対してほぼゼロのコストで得られるバイリンガル語彙のみを必要とします。
5つのモデルサイズにまたがる8つの言語の評価では、目標言語の下流タスクが大幅に改善され、同等のパフォーマンスに到達するためのトレーニングが最大2倍高速化された。
関連論文リスト
- Analyzing and Improving Cross-lingual Knowledge Transfer for Machine Translation [5.878901309908815]
ニューラルモデルにおける言語間知識伝達について検討し,多言語環境におけるロバストネスと一般化を改善する手法を開発した。
学習中の言語多様性の役割について検討し,翻訳範囲の増加が一般化を改善し,目標外行動を低減することを示す。
論文 参考訳（メタデータ） (2026-01-07T15:51:54Z) - Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in
Multilingual Language Models [12.662039551306632]
その結果,多言語モデルの高性能化は,実際の言語知識の伝達を必要としない要因が主な原因であることが示唆された。
具体的には、特に低リソース言語において、言語間で転送されたものは、主にデータアーチファクトとバイアスです。
論文 参考訳（メタデータ） (2024-02-03T09:41:52Z) - Language Representation Projection: Can We Transfer Factual Knowledge
across Languages in Multilingual Language Models? [48.88328580373103]
パラメータフリーの$textbfL$anguage $textbfR$epresentation $textbfP$rojection Module (LRP2)を提案する。
第1のモジュールは非英語の表現を英語のような同値に変換し、第2のモジュールは英語のような表現を対応する非英語の表現に戻す。
mLAMAデータセットによる実験結果から,LRP2は事実知識検索の精度を大幅に向上し,多種多様な非英語言語間の知識伝達を容易にすることが示された。
論文 参考訳（メタデータ） (2023-11-07T08:16:16Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳（メタデータ） (2023-06-13T08:08:08Z) - Cross-Lingual Transfer Learning for Phrase Break Prediction with
Multilingual Language Model [13.730152819942445]
言語間変換学習は低リソース言語の性能向上に特に有効である。
このことは、リソース不足言語におけるTSフロントエンドの開発には、言語間転送が安価で効果的であることを示している。
論文 参考訳（メタデータ） (2023-06-05T04:10:04Z) - Language Agnostic Multilingual Information Retrieval with Contrastive
Learning [59.26316111760971]
本稿では,多言語情報検索システムの学習方法を提案する。
並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。
我々のモデルは少数のパラレル文でもうまく機能する。
論文 参考訳（メタデータ） (2022-10-12T23:53:50Z) - Cross-Lingual Language Model Meta-Pretraining [21.591492094502424]
異なる学習段階における2つの能力について学習する言語間メタプレトレーニングを提案する。
本手法は一般化と言語間移動を両立させ,様々な言語にまたがる表現の整合性を向上する。
論文 参考訳（メタデータ） (2021-09-23T03:47:44Z) - From Masked Language Modeling to Translation: Non-English Auxiliary
Tasks Improve Zero-shot Spoken Language Understanding [24.149299722716155]
非常に低リソースの方言を含む6言語ファミリーの13言語を対象に,言語間SlotとIntent Detectionの新しいベンチマークであるxSIDを紹介した。
本研究では,英語SLU学習データと原文,構文,翻訳による非英語補助課題を併用した共同学習手法を提案する。
その結果,マスキング言語モデルによる主タスクの学習はスロットに有効であり,機械翻訳は意図分類に最適であることがわかった。
論文 参考訳（メタデータ） (2021-05-15T23:51:11Z) - MetaXL: Meta Representation Transformation for Low-resource
Cross-lingual Learning [91.5426763812547]
言語間移動学習は低リソース言語のための機能的NLPシステムを構築するための最も効果的な方法の1つである。
MetaXLは、メタラーニングベースのフレームワークで、表現を補助言語からターゲット言語にジャッジに変換することを学ぶ。
論文 参考訳（メタデータ） (2021-04-16T06:15:52Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳（メタデータ） (2021-03-18T21:17:58Z) - Meta-Transfer Learning for Code-Switched Speech Recognition [72.84247387728999]
低リソース環境下でのコード切替音声認識システムにおける学習を伝達するメタトランスファー学習法を提案する。
本モデルでは,コードスイッチングデータに最適化を条件付けることにより,個々の言語を識別し,混合言語音声をよりよく認識できるように変換する。
論文 参考訳（メタデータ） (2020-04-29T14:27:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。