論文の概要: Language-Aware Token Boosting: LLM Language Confusion Reduction Without Tuning

• arxiv url: http://arxiv.org/abs/2606.08994v1
• Date: Mon, 08 Jun 2026 03:47:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.685937
• Title: Language-Aware Token Boosting: LLM Language Confusion Reduction Without Tuning
• Title（参考訳）: Language-Aware Token Boosting: チューニング不要のLLM言語融合削減
• Authors: Trapoom Ukarapol, Pakhapoom Sarapat, Nut Chukamphaeng,
• Abstract要約: 大規模言語モデル(LLM)は、英語以外のテキストを生成するときに言語を混乱させることがある。 本稿では,言語混乱を軽減するためのチューニング不要なパラダイムを提案する。 本パラダイムでは、所望の言語に関連するトークンに目標摂動を適用するLanguage-Aware Token Boosting (LATB)と、モデルが意図する言語に対する信頼度に基づいてこれらの摂動を動的に調整するAdaptive Language-Aware Token Boosting (Adaptive-LATB)の2つの手法を紹介する。
• 参考スコア（独自算出の注目度）: 0.19116784879310025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) sometimes exhibit language confusion when generating non-English text. Existing approaches typically rely on fine-tuning to mitigate this issue. In contrast, we propose a tuning-free paradigm for reducing language confusion. Within this paradigm, we introduce two methods: Language-Aware Token Boosting (LATB), which applies targeted perturbations to tokens associated with the desired language, and Adaptive Language-Aware Token Boosting (Adaptive-LATB), which dynamically adjusts these perturbations based on the model's confidence in the intended language. Experiments demonstrate that our methods effectively improve multilingual alignment by reducing language confusion, while maintain the summarization quality without requiring any additional fine-tuning. Our code is publicly available. https://github.com/scbdatax/genai-datax-language-aware-token-boosting.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、英語以外のテキストを生成するときに言語を混乱させることがある。 既存のアプローチは通常、この問題を軽減するために微調整に依存します。 対照的に、言語混乱を減らすためのチューニング不要なパラダイムを提案する。 本パラダイムでは、所望の言語に関連するトークンにターゲット摂動を適用するLanguage-Aware Token Boosting (LATB)と、モデルが意図する言語に対する信頼度に基づいてこれらの摂動を動的に調整するAdaptive Language-Aware Token Boosting (Adaptive-LATB)の2つの手法を紹介する。 実験により,追加の微調整を必要とせずに要約品質を維持しつつ,言語混乱を低減し,多言語アライメントを効果的に向上することを示した。 私たちのコードは公開されています。 https://github.com/scbdatax/genai-datax-aware-token-boosting

関連論文リスト

• Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs [32.94544776067079]
  ASRの書き起こしには、フィラー、繰り返し、偽の開始などの不一致がしばしば含まれている。 既存のアプローチのほとんどは、除去のための非流動的なトークンを特定することに焦点を当てた古典的なモデルに依存している。 本稿では,まずシーケンスタグが不自由なトークンをマークする多言語補正パイプラインを提案し,これらの信号はLLMの微調整を指導し,書き起こしを流用テキストに書き換える。
  論文  参考訳（メタデータ） (2026-05-12T15:11:36Z)
• Language Confusion Gate: Language-Aware Decoding Through Model Self-Distillation [50.93756215410832]
  本稿では,デコード時にトークンをフィルタリングする軽量なプラグインソリューションであるLanguage Confusion Gate (LCG)を紹介する。 LCGは、標準調整自己蒸留を用いて訓練され、適切な言語ファミリーを予測し、必要に応じてマスクを適用する。
  論文  参考訳（メタデータ） (2025-10-20T14:02:37Z)
• Smoothie-Qwen: Post-Hoc Smoothing to Reduce Language Bias in Multilingual LLMs [4.881694369042022]
  Smoothie-Qwenは、リトレーニングなしに言語のバイアスを軽減する軽量でポストホックな方法である。 提案手法はQwenモデルに適用し,意図しない中国語の出力を95%以上削減する。
  論文  参考訳（メタデータ） (2025-07-08T05:30:51Z)
• Retrofitting Large Language Models with Dynamic Tokenization [3.608780819053423]
  現在の言語モデル(LM)は固定された静的なサブワードトークン化器を使用する。 このデフォルトの選択は一般的に、特に英語以外の言語において、効率と言語能力の低下をもたらす。 入力テキストに基づいてトークン境界を動的に決定する手法として,動的トークン化を用いたLMの再構成を提案する。
  論文  参考訳（メタデータ） (2024-11-27T17:51:58Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning [66.31509106146605]
  命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。 しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。 InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
  論文  参考訳（メタデータ） (2023-05-23T02:51:34Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。