論文の概要: Sparse Autoencoder-guided Supervised Finetuning to Mitigate Unexpected Code-Switching in LLMs

• arxiv url: http://arxiv.org/abs/2507.14894v1
• Date: Sun, 20 Jul 2025 10:20:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.110018
• Title: Sparse Autoencoder-guided Supervised Finetuning to Mitigate Unexpected Code-Switching in LLMs
• Title（参考訳）: LLMにおける予期せぬ符号スイッチングを緩和するスパースオートエンコーダ誘導監督ファインタニング
• Authors: Boyi Deng, Yu Wan, Baosong Yang, Fei Huang, Wenjie Wang, Fuli Feng,
• Abstract要約: 大規模言語モデルは予期せぬコードスイッチング(言語ミキシングとしても知られる)に悩まされる。 この問題は可読性を低下させ、モデル応答のユーザビリティを低下させる。 我々は、$textbfS$parse $textbfA$utoencoder-guided $textbfS$upervised $textbfF$ine$textbft$uningを提案する。
• 参考スコア（独自算出の注目度）: 59.371789255015244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have impressive multilingual capabilities, but they suffer from unexpected code-switching, also known as language mixing, which involves switching to unexpected languages in the model response. This problem leads to poor readability and degrades the usability of model responses. However, existing work on this issue lacks a mechanistic analysis and shows limited effectiveness. In this paper, we first provide an in-depth analysis of unexpected code-switching using sparse autoencoders and find that when LLMs switch to a language, the features of that language exhibit excessive pre-activation values. Based on our findings, we propose $\textbf{S}$parse $\textbf{A}$utoencoder-guided $\textbf{S}$upervised $\textbf{F}$ine$\textbf{t}$uning (SASFT), which teaches LLMs to maintain appropriate pre-activation values of specific language features during training. Experiments on five models across three languages demonstrate that SASFT consistently reduces unexpected code-switching by more than 50\% compared to standard supervised fine-tuning, with complete elimination in four cases. Moreover, SASFT maintains or even improves the models' performance on six multilingual benchmarks, showing its effectiveness in addressing code-switching while preserving multilingual capabilities.
• Abstract（参考訳）: 大きな言語モデル(LLM)には印象的な多言語機能があるが、予期せぬコードスイッチング(言語ミキシングとも呼ばれる)に悩まされ、モデル応答において予期せぬ言語に切り替える。 この問題は可読性を低下させ、モデル応答のユーザビリティを低下させる。 しかし、この問題に関する既存の研究は機械学的な分析に欠けており、効果は限られている。 本稿では,まず,スパースオートエンコーダを用いた予期せぬコードスイッチングの詳細な解析を行い,LLMが言語に切り替えると,その言語の特徴が過剰な事前アクティベーション値を示すことを示す。 この結果に基づき、トレーニング中に特定の言語機能の適切な事前アクティベーション値を維持することをLLMに教える、$\textbf{S}$parse $\textbf{A}$utoencoder-guided $\textbf{S}$upervised $\textbf{F}$ine$\textbf{t}$uning (SASFT)を提案する。 3言語にわたる5つのモデルの実験により、SASFTは標準的な教師付き微調整に比べて、予期せぬコードスイッチングを50%以上減らし、4つのケースで完全に除去することを示した。 さらに、SASFTは6つの多言語ベンチマークでモデルの性能を維持または改善し、多言語機能を保ちながらコードスイッチングに対処する効果を示す。

関連論文リスト

• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Multilingual Large Language Models Are Not (Yet) Code-Switchers [41.47534626749588]
  大規模言語モデル(LLM)は、最近、幅広いタスクにおいて優れた機能を示している。 発話の中で言語を交互に行う習慣は、いまだにほとんど受け継がれていない。 LLMの現在の「多言語主義」は、本質的にはコードスイッチングテキストの習熟度を示唆していない、と我々は主張する。
  論文  参考訳（メタデータ） (2023-05-23T16:50:48Z)
• GLUECoS : An Evaluation Benchmark for Code-Switched NLP [17.066725832825423]
  コード切替言語に対する評価ベンチマーク GLUECoS を提案する。 英語・ヒンディー語・英語・スペイン語におけるNLP課題について報告する。 我々は、人工的に生成されたコード切替データに基づいて、多言語モデルを微調整する。
  論文  参考訳（メタデータ） (2020-04-26T13:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。