論文の概要: When Does Language Transfer Help? Sequential Fine-Tuning for Cross-Lingual Euphemism Detection

• arxiv url: http://arxiv.org/abs/2508.11831v1
• Date: Fri, 15 Aug 2025 22:40:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.401548
• Title: When Does Language Transfer Help? Sequential Fine-Tuning for Cross-Lingual Euphemism Detection
• Title（参考訳）: 言語伝達はいつ助けになるか : 言語間共生検出のための逐次微調整
• Authors: Julia Sammartino, Libby Barak, Jing Peng, Anna Feldman,
• Abstract要約: シーケンシャルな微調整による言語間移動は、5つの言語にわたるエウヘミズムの検出に影響を及ぼす。 特にYorubaやTurkなどの低リソース言語では,高リソースのL1による逐次微調整によりL2のパフォーマンスが向上することを示す。 これらの知見は,多言語モデルにおけるエウヘミズム検出を改善するための簡易かつ効果的な戦略として,逐次微調整が重要である。
• 参考スコア（独自算出の注目度）: 2.9530156444677576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Euphemisms are culturally variable and often ambiguous, posing challenges for language models, especially in low-resource settings. This paper investigates how cross-lingual transfer via sequential fine-tuning affects euphemism detection across five languages: English, Spanish, Chinese, Turkish, and Yoruba. We compare sequential fine-tuning with monolingual and simultaneous fine-tuning using XLM-R and mBERT, analyzing how performance is shaped by language pairings, typological features, and pretraining coverage. Results show that sequential fine-tuning with a high-resource L1 improves L2 performance, especially for low-resource languages like Yoruba and Turkish. XLM-R achieves larger gains but is more sensitive to pretraining gaps and catastrophic forgetting, while mBERT yields more stable, though lower, results. These findings highlight sequential fine-tuning as a simple yet effective strategy for improving euphemism detection in multilingual models, particularly when low-resource languages are involved.
• Abstract（参考訳）: エフェミズムは文化的に可変であり、しばしばあいまいであり、特に低リソース環境では言語モデルに挑戦する。 本稿では,英語,スペイン語,中国語,トルコ語,ヨルバの5言語間の言語間移動が,音韻検出に与える影響について検討する。 XLM-R と mBERT を用いた単言語・同時微調整と比較し,言語ペアリング,類型的特徴,事前学習による性能評価を行った。 その結果、特にYorubaやTurkなどの低リソース言語では、高リソースのL1によるシーケンシャルな微調整によりL2のパフォーマンスが向上することがわかった。 XLM-Rはより大きなゲインを得るが、事前訓練されたギャップや破滅的な忘れ方に敏感であり、mBERTはより安定であるが、より低い結果をもたらす。 これらの知見は,多言語モデルにおいて,特に低リソース言語が関与する場合に,エフェミズム検出を改善するための簡易かつ効果的な戦略として,逐次微調整が重要であることを示している。

関連論文リスト

• Unveiling the Influence of Amplifying Language-Specific Neurons [11.19692440351977]
  個々の言語と強く相関する言語特異的ニューロンは、それらの不活性化によってモデル行動に影響を与えることが示されている。 本研究は18言語にわたる介入による言語特異的ニューロンの増幅効果について検討する。
  論文  参考訳（メタデータ） (2025-07-30T11:23:30Z)
• Towards Inclusive NLP: Assessing Compressed Multilingual Transformers across Diverse Language Benchmarks [33.2185998586144]
  本研究は、アラビア語、英語、インド語にまたがる多言語および単言語大言語モデル(LLM)の性能をベンチマークする。 発見は言語的多様性と資源の可利用性によって引き起こされる顕著なパフォーマンスの違いを示している。 量子化(4ビットと8ビット)は、効率を向上しながらモデルの精度を維持するのに有効であるが、アグレッシブプルーニングは性能を著しく損なう。
  論文  参考訳（メタデータ） (2025-07-25T22:35:10Z)
• M-Wanda: Improving One-Shot Pruning for Multilingual LLMs [26.473021051027526]
  本稿では,言語対応アクティベーション統計をプルーニング基準に組み込むことで,言語間変動をモデル化するプルーニング手法であるM-Wandaを提案する。 M-Wanda は最小限の追加コストで性能を継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-27T13:24:38Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Analyzing and Reducing the Performance Gap in Cross-Lingual Transfer with Fine-tuning Slow and Fast [50.19681990847589]
  既存の研究では、1つの(ソース)言語で微調整された多言語事前学習言語モデルが、非ソース言語の下流タスクでもうまく機能していることが示されている。 本稿では、微調整プロセスを分析し、パフォーマンスギャップがいつ変化するかを分析し、ネットワークの重みが全体のパフォーマンスに最も影響するかを特定する。
  論文  参考訳（メタデータ） (2023-05-19T06:04:21Z)
• A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
  既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。 意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
  論文  参考訳（メタデータ） (2022-10-18T15:36:53Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。