論文の概要: Sparse Autoencoder-guided Supervised Finetuning to Mitigate Unexpected Code-Switching in LLMs

• arxiv url: http://arxiv.org/abs/2507.14894v1
• Date: Sun, 20 Jul 2025 10:20:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.110018
• Title: Sparse Autoencoder-guided Supervised Finetuning to Mitigate Unexpected Code-Switching in LLMs
• Title（参考訳）: LLMにおける予期せぬ符号スイッチングを緩和するスパースオートエンコーダ誘導監督ファインタニング
• Authors: Boyi Deng, Yu Wan, Baosong Yang, Fei Huang, Wenjie Wang, Fuli Feng,
• Abstract要約: 大規模言語モデルは予期せぬコードスイッチング(言語ミキシングとしても知られる)に悩まされる。 この問題は可読性を低下させ、モデル応答のユーザビリティを低下させる。 我々は、$textbfS$parse $textbfA$utoencoder-guided $textbfS$upervised $textbfF$ine$textbft$uningを提案する。
• 参考スコア（独自算出の注目度）: 59.371789255015244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have impressive multilingual capabilities, but they suffer from unexpected code-switching, also known as language mixing, which involves switching to unexpected languages in the model response. This problem leads to poor readability and degrades the usability of model responses. However, existing work on this issue lacks a mechanistic analysis and shows limited effectiveness. In this paper, we first provide an in-depth analysis of unexpected code-switching using sparse autoencoders and find that when LLMs switch to a language, the features of that language exhibit excessive pre-activation values. Based on our findings, we propose $\textbf{S}$parse $\textbf{A}$utoencoder-guided $\textbf{S}$upervised $\textbf{F}$ine$\textbf{t}$uning (SASFT), which teaches LLMs to maintain appropriate pre-activation values of specific language features during training. Experiments on five models across three languages demonstrate that SASFT consistently reduces unexpected code-switching by more than 50\% compared to standard supervised fine-tuning, with complete elimination in four cases. Moreover, SASFT maintains or even improves the models' performance on six multilingual benchmarks, showing its effectiveness in addressing code-switching while preserving multilingual capabilities.
• Abstract（参考訳）: 大きな言語モデル(LLM)には印象的な多言語機能があるが、予期せぬコードスイッチング(言語ミキシングとも呼ばれる)に悩まされ、モデル応答において予期せぬ言語に切り替える。 この問題は可読性を低下させ、モデル応答のユーザビリティを低下させる。 しかし、この問題に関する既存の研究は機械学的な分析に欠けており、効果は限られている。 本稿では,まず,スパースオートエンコーダを用いた予期せぬコードスイッチングの詳細な解析を行い,LLMが言語に切り替えると,その言語の特徴が過剰な事前アクティベーション値を示すことを示す。 この結果に基づき、トレーニング中に特定の言語機能の適切な事前アクティベーション値を維持することをLLMに教える、$\textbf{S}$parse $\textbf{A}$utoencoder-guided $\textbf{S}$upervised $\textbf{F}$ine$\textbf{t}$uning (SASFT)を提案する。 3言語にわたる5つのモデルの実験により、SASFTは標準的な教師付き微調整に比べて、予期せぬコードスイッチングを50%以上減らし、4つのケースで完全に除去することを示した。 さらに、SASFTは6つの多言語ベンチマークでモデルの性能を維持または改善し、多言語機能を保ちながらコードスイッチングに対処する効果を示す。

関連論文リスト

• Unveiling Language-Specific Features in Large Language Models via Sparse Autoencoders [41.1110443501488]
  SAEから得られる特徴の単言語性を評価するための新しい指標を提案する。 これらのSAE特徴を非難することは、LLMの1つの言語における能力を大幅に低下させるだけであり、他の言語はほとんど影響を受けないことが示されている。 我々はこれらSAEから派生した言語固有の特徴を活用してステアリングベクターを強化し,LLMによる言語制御を実現する。
  論文  参考訳（メタデータ） (2025-05-08T10:24:44Z)
• Investigating and Scaling up Code-Switching for Multilingual Language Model Pre-Training [58.696660064190475]
  コンテクスト内の異なる言語間を交互に交換するコードスイッチの存在が、多言語機能の鍵であることに気付きました。 事前学習における言語アライメントのためのコードスイッチングのパワーをよりよく探求するために,合成コードスイッチングの戦略について検討する。
  論文  参考訳（メタデータ） (2025-04-02T15:09:58Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Speculative Contrastive Decoding [55.378200871224074]
  大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。 投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
  論文  参考訳（メタデータ） (2023-11-15T14:15:30Z)
• XSemPLR: Cross-Lingual Semantic Parsing in Multiple Natural Languages and Meaning Representations [25.50509874992198]
  Cross-Lingual Semantic Parsingは、複数の自然言語のクエリを意味表現に変換することを目的としている。 既存のCLSPモデルは個別に提案され、限られたタスクやアプリケーションのデータセット上で評価される。 XSemPLRは、22の自然言語と8つの意味表現を特徴とする言語間意味解析のための統一的なベンチマークである。
  論文  参考訳（メタデータ） (2023-06-07T01:09:37Z)
• Multilingual Large Language Models Are Not (Yet) Code-Switchers [41.47534626749588]
  大規模言語モデル(LLM)は、最近、幅広いタスクにおいて優れた機能を示している。 発話の中で言語を交互に行う習慣は、いまだにほとんど受け継がれていない。 LLMの現在の「多言語主義」は、本質的にはコードスイッチングテキストの習熟度を示唆していない、と我々は主張する。
  論文  参考訳（メタデータ） (2023-05-23T16:50:48Z)
• xCodeEval: A Large Scale Multilingual Multitask Benchmark for Code Understanding, Generation, Translation and Retrieval [32.60391966381949]
  我々はこれまでで最大のマルチ言語マルチタスクベンチマークであるxCodeEvalを紹介した。 コード理解、生成、翻訳、検索を含む合計7ドルのタスクが特徴だ。 xCodeEvalは実行ベースの評価を採用し、多言語コード実行エンジンであるExecEvalを提供する。
  論文  参考訳（メタデータ） (2023-03-06T10:08:51Z)
• GLUECoS : An Evaluation Benchmark for Code-Switched NLP [17.066725832825423]
  コード切替言語に対する評価ベンチマーク GLUECoS を提案する。 英語・ヒンディー語・英語・スペイン語におけるNLP課題について報告する。 我々は、人工的に生成されたコード切替データに基づいて、多言語モデルを微調整する。
  論文  参考訳（メタデータ） (2020-04-26T13:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。