論文の概要: Introducing Code-Switched Contexts to Cognitively-Inspired Bilingual Model Training

• arxiv url: http://arxiv.org/abs/2610.06161v1
• Date: Mon, 05 Oct 2026 11:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 18:15:42.651197
• Title: Introducing Code-Switched Contexts to Cognitively-Inspired Bilingual Model Training
• Title（参考訳）: 認知型バイリンガルモデルトレーニングのためのコードスイッチドコンテキストの導入
• Abstract要約: そこで本研究では,2つの言語対にまたがる合成符号切替データを用いた学習の効率について検討する。 この結果から,コードスイッチトデータによる学習は言語間アライメントを改善することが示唆された。
• 参考スコア（独自算出の注目度）: 1.9677543902436454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During language acquisition, bilingual children are regularly exposed to code-switched input and use it as a cognitive scaffold to accelerate vocabulary growth and cross-linguistic syntactic mapping. In contrast, computational bilingual models are conventionally pretrained on interleaved monolingual corpora. While introducing synthetic code-switching during pretraining has become a promising strategy to enhance cross-lingual alignment and downstream performance, the structural and developmental parameters governing the success remain poorly understood. In this work, we investigate the efficiency of training with synthetic code-switched data across two typologically distinct language pairs by controlling two key variables: the structural location of code-switches and the dynamic switching rate across training stages. Our results show that training with code-switched data improves cross-lingual alignment for typologically close languages.
• Abstract（参考訳）: 言語習得の過程で、バイリンガルの子供たちは定期的にコード変更入力に晒され、語彙の成長と言語間構文マッピングを加速するために認知的な足場として使用される。 対照的に、計算バイリンガルモデルは伝統的にインターリーブされた単言語コーパスで事前訓練されている。 事前訓練中に合成コードスウィッチを導入することは、言語間アライメントと下流のパフォーマンスを高めるための有望な戦略となっているが、その成功を規定する構造的および発達的パラメータはいまだに理解されていない。 本研究では,2つの異なる言語対をまたいだ合成符号切替データを用いた学習の効率を,符号切替の構造的位置と訓練段階間の動的切替率の2つの主要な変数を制御して検討する。 この結果から,コード切替データによる学習は言語間アライメントを改善することが示唆された。

関連論文リスト

• Investigating and Scaling up Code-Switching for Multilingual Language Model Pre-Training [58.696660064190475]
  コンテクスト内の異なる言語間を交互に交換するコードスイッチの存在が、多言語機能の鍵であることに気付きました。 事前学習における言語アライメントのためのコードスイッチングのパワーをよりよく探求するために,合成コードスイッチングの戦略について検討する。
  論文  参考訳（メタデータ） (2025-04-02T15:09:58Z)
• Incorporating Lexical and Syntactic Knowledge for Unsupervised Cross-Lingual Transfer [4.944761231728674]
  我々は"Lexicon-Syntax Enhanced Multilingual BERT"と呼ばれる新しいフレームワークを提案する。 我々は、ベースモデルとしてMultilingual BERTを使用し、学習能力を高めるために2つの手法を用いています。 実験の結果、このフレームワークはゼロショット・クロスランガル転送のすべてのベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-04-25T14:10:52Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。