論文の概要: Controlling Language Confusion in Multilingual LLMs

• arxiv url: http://arxiv.org/abs/2505.19116v1
• Date: Sun, 25 May 2025 12:15:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.917688
• Title: Controlling Language Confusion in Multilingual LLMs
• Title（参考訳）: 多言語LLMにおける言語融合制御
• Authors: Nahyun Lee, Yeongseo Woo, Hyunwoo Ko, Guijin Son,
• Abstract要約: 大規模な言語モデルは、意図しない言語で応答が部分的にまたは完全に生成される現象である言語混乱に悩まされることが多い。 標準SFTに不要な出力スタイルのペナルティを付加したORPOは,高い復号温度でも言語に富んだ世代を効果的に抑制する。 この結果から,適切なペナルティ項を組み込むことで,限られたデータを用いた低リソース環境における言語混乱を軽減できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often suffer from language confusion, a phenomenon where responses are partially or entirely generated in unintended languages. This can critically impact user experience in low-resource settings. We hypothesize that conventional supervised fine-tuning exacerbates this issue because the softmax objective focuses probability mass only on the single correct token but does not explicitly penalize cross-lingual mixing. Interestingly, by observing loss trajectories during the pretraining phase, we observe that models fail to learn to distinguish between monolingual and language-confused text. Additionally, we find that ORPO, which adds penalties for unwanted output styles to standard SFT, effectively suppresses language-confused generations even at high decoding temperatures without degrading overall model performance. Our findings suggest that incorporating appropriate penalty terms can mitigate language confusion in low-resource settings with limited data.
• Abstract（参考訳）: 大規模な言語モデルは、意図しない言語で応答が部分的にまたは完全に生成される現象である言語混乱に悩まされることが多い。 これは低リソース環境でのユーザエクスペリエンスに重大な影響を与える可能性がある。 従来の教師付き微調整は、ソフトマックスの目的が単一の正しいトークンにのみ焦点をあてるが、言語間混合を明示的に罰するものではないため、この問題を悪化させるという仮説を立てる。 興味深いことに、事前学習期間中に損失軌跡を観察することで、単言語と言語に圧倒されたテキストの区別を学習できないことが観察された。 さらに、標準SFTに不要な出力スタイルのペナルティを追加するORPOは、全体的なモデル性能を低下させることなく、高い復号温度でも言語に精通した世代を効果的に抑制する。 この結果から,適切なペナルティ項を組み込むことで,限られたデータを用いた低リソース環境における言語混乱を軽減できる可能性が示唆された。

関連論文リスト

• Smoothie-Qwen: Post-Hoc Smoothing to Reduce Language Bias in Multilingual LLMs [4.881694369042022]
  Smoothie-Qwenは、リトレーニングなしに言語のバイアスを軽減する軽量でポストホックな方法である。 提案手法はQwenモデルに適用し,意図しない中国語の出力を95%以上削減する。
  論文  参考訳（メタデータ） (2025-07-08T05:30:51Z)
• Breaking Physical and Linguistic Borders: Multilingual Federated Prompt Tuning for Low-Resource Languages [27.63253872229416]
  多言語シナリオのためのフェデレート・プロンプト・チューニング・パラダイムを提案する。 提案手法は精度が6.9%向上し,データ効率が向上した。 これらの知見は,社会平等を推進し,言語多様性を擁護するアプローチの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-07-02T05:23:20Z)
• Language Surgery in Multilingual Large Language Models [32.77326546076424]
  大規模言語モデル(LLM)はタスクや言語にまたがる顕著な一般化機能を示している。 本稿では, LLMにおける自然に出現する表現アライメント, 特に中層における表現アライメントについて検討する。 本稿では,言語間言語制御の高精度化と言語混乱を軽減するため,ITLC(Inference-Time Language Control)を提案する。
  論文  参考訳（メタデータ） (2025-06-14T11:09:50Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [49.09746599881631]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 本研究は,多言語学習モデルとの比較分析により同定された少数の臨界ニューロンの編集が,混乱を著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• Investigating Language-Specific Calibration For Pruning Multilingual Large Language Models [11.421452042888523]
  多様な言語,タスク,モデル,および SotA プルーニング技術を用いて,多言語モデルをプルーニングするためのキャリブレーション言語を比較した。 例えば、ターゲット言語を校正することで、効率的に言語モデリング能力を維持することができるが、必ずしも下流タスクに利益をもたらすとは限らない。
  論文  参考訳（メタデータ） (2024-08-26T16:29:13Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。