論文の概要: Beyond Bilingual Transfer: Multilingual Code-Switching in Instruction Tuning
- arxiv url: http://arxiv.org/abs/2605.29414v1
- Date: Thu, 28 May 2026 06:03:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.840049
- Title: Beyond Bilingual Transfer: Multilingual Code-Switching in Instruction Tuning
- Title（参考訳）: バイリンガルトランスファーを超えて - インストラクションチューニングにおける多言語コードスイッチング
- Authors: Shunta Asano, Jeonghun Baek, Toshihiko Yamasaki,
- Abstract要約: 英語,日本語,韓国語,中国語の4言語にまたがる多言語コードスイッチング指導について検討する。
実験の結果,単純な文レベルの多言語CSDは4言語すべてで平均多言語性能を一貫して向上することがわかった。
- 参考スコア（独自算出の注目度）: 33.701267165633105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have shown that code-switching data (CSD), in which multiple languages are mixed within the same context, can improve cross-lingual transfer and multilingual alignment in large language models (LLMs). However, existing studies primarily focus on bilingual transfer between English and a target language, leaving multilingual settings involving three or more languages largely unexplored. In this work, we investigate multilingual code-switching instruction tuning across four languages: English, Japanese, Korean, and Chinese. We evaluate multilingual understanding on Belebele. Our experiments show that simple sentence-level multilingual CSD consistently improves average multilingual performance across all four languages, indicating that multilingual code-switching can be effective beyond bilingual transfer settings.
- Abstract（参考訳）: 近年の研究では、複数の言語が同じ文脈で混在しているコードスイッチングデータ(CSD)が、大規模言語モデル(LLM)における言語間移動と多言語アライメントを改善することが示されている。
しかし、既存の研究は主に英語と対象言語間のバイリンガルな移動に焦点を当てており、3つ以上の言語を含む多言語的な設定はほとんど探索されていない。
本研究では,英語,日本語,韓国語,中国語の4言語にまたがる多言語コードスイッチング指導について検討する。
ベレベレにおける多言語理解の評価を行った。
実験の結果、単純な文レベルの多言語CSDは4言語すべてで平均多言語性能を一貫して改善し、多言語コードスイッチングはバイリンガル転送設定を超えて有効であることが示された。
関連論文リスト
- Investigating and Scaling up Code-Switching for Multilingual Language Model Pre-Training [58.696660064190475]
コンテクスト内の異なる言語間を交互に交換するコードスイッチの存在が、多言語機能の鍵であることに気付きました。
事前学習における言語アライメントのためのコードスイッチングのパワーをよりよく探求するために,合成コードスイッチングの戦略について検討する。
論文 参考訳（メタデータ） (2025-04-02T15:09:58Z) - Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。
言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。
我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
論文 参考訳（メタデータ） (2024-06-04T17:56:28Z) - Multilingual Instruction Tuning With Just a Pinch of Multilinguality [31.360147312195068]
多くの言語が単言語チューニングから命令追従機能を他の言語に移行していることを示す。
多言語混合に調整されたモデルは、複数の言語で同等または優れた性能を示す。
2-4言語でも命令チューニングセットの多様化は、言語間の一般化を著しく改善する。
論文 参考訳（メタデータ） (2024-01-03T17:48:10Z) - How Do Multilingual Encoders Learn Cross-lingual Representation? [8.409283426564977]
言語間転送は、他言語からの転送によって、トレーニングデータをほとんど、あるいは全く持たない言語に恩恵を与える。
この論文はまず、様々なタスクにおける先行技術と比較して、驚くべき言語間効果を示す。
また、多言語エンコーダに異なる言語間信号を注入する方法や、これらのモデルを用いた言語間転送の最適化挙動についても検討する。
論文 参考訳（メタデータ） (2022-07-12T17:57:05Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳（メタデータ） (2021-03-24T16:20:02Z) - CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot
Cross-Lingual NLP [68.2650714613869]
我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。
既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
論文 参考訳（メタデータ） (2020-06-11T13:15:59Z) - Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。
単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
論文 参考訳（メタデータ） (2020-04-09T01:03:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。