論文の概要: Controlling Language Confusion in Multilingual LLMs

• arxiv url: http://arxiv.org/abs/2505.19116v1
• Date: Sun, 25 May 2025 12:15:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.917688
• Title: Controlling Language Confusion in Multilingual LLMs
• Title（参考訳）: 多言語LLMにおける言語融合制御
• Authors: Nahyun Lee, Yeongseo Woo, Hyunwoo Ko, Guijin Son,
• Abstract要約: 大規模な言語モデルは、意図しない言語で応答が部分的にまたは完全に生成される現象である言語混乱に悩まされることが多い。 標準SFTに不要な出力スタイルのペナルティを付加したORPOは,高い復号温度でも言語に富んだ世代を効果的に抑制する。 この結果から,適切なペナルティ項を組み込むことで,限られたデータを用いた低リソース環境における言語混乱を軽減できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often suffer from language confusion, a phenomenon where responses are partially or entirely generated in unintended languages. This can critically impact user experience in low-resource settings. We hypothesize that conventional supervised fine-tuning exacerbates this issue because the softmax objective focuses probability mass only on the single correct token but does not explicitly penalize cross-lingual mixing. Interestingly, by observing loss trajectories during the pretraining phase, we observe that models fail to learn to distinguish between monolingual and language-confused text. Additionally, we find that ORPO, which adds penalties for unwanted output styles to standard SFT, effectively suppresses language-confused generations even at high decoding temperatures without degrading overall model performance. Our findings suggest that incorporating appropriate penalty terms can mitigate language confusion in low-resource settings with limited data.
• Abstract（参考訳）: 大規模な言語モデルは、意図しない言語で応答が部分的にまたは完全に生成される現象である言語混乱に悩まされることが多い。 これは低リソース環境でのユーザエクスペリエンスに重大な影響を与える可能性がある。 従来の教師付き微調整は、ソフトマックスの目的が単一の正しいトークンにのみ焦点をあてるが、言語間混合を明示的に罰するものではないため、この問題を悪化させるという仮説を立てる。 興味深いことに、事前学習期間中に損失軌跡を観察することで、単言語と言語に圧倒されたテキストの区別を学習できないことが観察された。 さらに、標準SFTに不要な出力スタイルのペナルティを追加するORPOは、全体的なモデル性能を低下させることなく、高い復号温度でも言語に精通した世代を効果的に抑制する。 この結果から,適切なペナルティ項を組み込むことで,限られたデータを用いた低リソース環境における言語混乱を軽減できる可能性が示唆された。

関連論文リスト

• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。