論文の概要: Controlling Language Confusion in Multilingual LLMs

• arxiv url: http://arxiv.org/abs/2505.19116v2
• Date: Sun, 20 Jul 2025 08:57:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 14:33:32.083943
• Title: Controlling Language Confusion in Multilingual LLMs
• Title（参考訳）: 多言語LLMにおける言語融合制御
• Authors: Nahyun Lee, Yeongseo Woo, Hyunwoo Ko, Guijin Son,
• Abstract要約: 大規模な言語モデルは、意図しない言語で応答が部分的にまたは完全に生成される現象である言語混乱に悩まされることが多い。 本研究では,標準SFTに不要な出力スタイルのペナルティを付加するORPOを適用し,言語に精通した世代を効果的に抑制する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often suffer from language confusion, a phenomenon in which responses are partially or entirely generated in unintended languages. This critically degrades the user experience, especially in low-resource settings. We hypothesize that this issue stems from limitations in conventional fine-tuning objectives, such as supervised learning, which optimize the likelihood of correct tokens without explicitly penalizing undesired outputs such as cross-lingual mixing. Analysis of loss trajectories during pretraining further reveals that models fail to distinguish between monolingual and language-mixed texts, highlighting the absence of inherent pressure to avoid such confusion. In this work, we apply ORPO, which adds penalties for unwanted output styles to standard SFT, effectively suppressing language-confused generations. ORPO maintains strong language consistency, even under high decoding temperatures, while preserving general QA performance. Our findings suggest that incorporating appropriate penalty terms can effectively mitigate language confusion in multilingual models, particularly in low-resource scenarios.
• Abstract（参考訳）: 大規模な言語モデルは、意図しない言語で応答が部分的にまたは完全に生成される現象である言語混乱に悩まされることが多い。 これは特に低リソース環境において、ユーザエクスペリエンスを著しく低下させる。 この問題は,言語間混合のような望ましくない出力を明示的にペナル化することなく,正しいトークンの可能性を最適化する教師付き学習など,従来の微調整目的の制約に起因している,という仮説を立てる。 事前訓練中の損失軌跡の分析により、モデルはモノリンガルテキストと言語混合テキストの区別に失敗し、そのような混乱を避けるために固有の圧力がないことが明らかになった。 本研究では,標準SFTに不要な出力スタイルのペナルティを付加するORPOを適用し,言語に精通した世代を効果的に抑制する。 ORPOは、一般的なQA性能を維持しながら、高い復号温度でも強い言語一貫性を維持している。 本研究は, 適切なペナルティ項を組み込むことによって, 多言語モデル, 特に低リソースシナリオにおける言語混乱を効果的に軽減できることを示唆する。

関連論文リスト

• Smoothie-Qwen: Post-Hoc Smoothing to Reduce Language Bias in Multilingual LLMs [4.881694369042022]
  Smoothie-Qwenは、リトレーニングなしに言語のバイアスを軽減する軽量でポストホックな方法である。 提案手法はQwenモデルに適用し,意図しない中国語の出力を95%以上削減する。
  論文  参考訳（メタデータ） (2025-07-08T05:30:51Z)
• Breaking Physical and Linguistic Borders: Multilingual Federated Prompt Tuning for Low-Resource Languages [27.63253872229416]
  多言語シナリオのためのフェデレート・プロンプト・チューニング・パラダイムを提案する。 提案手法は精度が6.9%向上し,データ効率が向上した。 これらの知見は,社会平等を推進し,言語多様性を擁護するアプローチの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-07-02T05:23:20Z)
• Language Surgery in Multilingual Large Language Models [32.77326546076424]
  大規模言語モデル(LLM)はタスクや言語にまたがる顕著な一般化機能を示している。 本稿では, LLMにおける自然に出現する表現アライメント, 特に中層における表現アライメントについて検討する。 本稿では,言語間言語制御の高精度化と言語混乱を軽減するため,ITLC(Inference-Time Language Control)を提案する。
  論文  参考訳（メタデータ） (2025-06-14T11:09:50Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [49.09746599881631]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 本研究は,多言語学習モデルとの比較分析により同定された少数の臨界ニューロンの編集が,混乱を著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• Investigating Language-Specific Calibration For Pruning Multilingual Large Language Models [11.421452042888523]
  多様な言語,タスク,モデル,および SotA プルーニング技術を用いて,多言語モデルをプルーニングするためのキャリブレーション言語を比較した。 例えば、ターゲット言語を校正することで、効率的に言語モデリング能力を維持することができるが、必ずしも下流タスクに利益をもたらすとは限らない。
  論文  参考訳（メタデータ） (2024-08-26T16:29:13Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。