論文の概要: OLA: Output Language Alignment in Code-Switched LLM Interactions

• arxiv url: http://arxiv.org/abs/2601.03589v1
• Date: Wed, 07 Jan 2026 05:07:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.274724
• Title: OLA: Output Language Alignment in Code-Switched LLM Interactions
• Title（参考訳）: OLA: Code-Switched LLM インタラクションにおける出力言語アライメント
• Authors: Juhyun Oh, Haneul Yoo, Faiz Ghifari Haznitrama, Alice Oh,
• Abstract要約: 会話の中で言語を交互に切り替えるコードスイッチングは、多言語ユーザにとっては自然なことですが、大きな言語モデルには根本的な課題があります。 コード切替インタラクションにおけるLLMの出力言語アライメントを評価するためのベンチマークであるOLAを紹介する。 OLAは韓国語-英語のコードスイッチングに重点を置いており、命令-内容ミスマッチへの単純な文内ミキシングにまたがっている。
• 参考スコア（独自算出の注目度）: 31.119553472916234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code-switching, alternating between languages within a conversation, is natural for multilingual users, yet poses fundamental challenges for large language models (LLMs). When a user code-switches in their prompt to an LLM, they typically do not specify the expected language of the LLM response, and thus LLMs must infer the output language from contextual and pragmatic cues. We find that current LLMs systematically fail to align with this expectation, responding in undesired languages even when cues are clear to humans. We introduce OLA, a benchmark to evaluate LLMs' Output Language Alignment in code-switched interactions. OLA focuses on Korean--English code-switching and spans simple intra-sentential mixing to instruction-content mismatches. Even frontier models frequently misinterpret implicit language expectation, exhibiting a bias toward non-English responses. We further show this bias generalizes beyond Korean to Chinese and Indonesian pairs. Models also show instability through mid-response switching and language intrusions. Chain-of-Thought prompting fails to resolve these errors, indicating weak pragmatic reasoning about output language. However, Code-Switching Aware DPO with minimal data (about 1K examples) substantially reduces misalignment, suggesting these failures stem from insufficient alignment rather than fundamental limitations. Our results highlight the need to align multilingual LLMs with users' implicit expectations in real-world code-switched interactions.
• Abstract（参考訳）: 会話の中で言語を交互に切り替えるコードスイッチングは、多言語ユーザにとっては自然なことですが、大きな言語モデル(LLM)には根本的な課題があります。 ユーザがLLMへのプロンプトをコードスイッチすると、通常、LLM応答の期待言語は指定されないため、LLMは文脈的および実用的なキューから出力言語を推論しなければならない。 現状のLLMは,人間に明快な言語であっても,望ましくない言語に反応するが,体系的にこの期待と一致しないことがわかった。 コード切替インタラクションにおけるLLMの出力言語アライメントを評価するためのベンチマークであるOLAを紹介する。 OLAは韓国語-英語のコードスイッチングに重点を置いており、命令-内容ミスマッチへの単純な文内ミキシングにまたがっている。 フロンティアモデルでさえ、暗黙の言語期待をしばしば誤解し、非英語の反応に対する偏見を示す。 さらに、このバイアスは韓国から中国とインドネシアのペアまで一般化されていることを示す。 モデルはまた、ミッドレスポンススイッチングと言語侵入を通じて不安定を示す。 Chain-of-Thoughtプロンプトはこれらのエラーを解決するのに失敗し、出力言語に関する実践的な推論が弱いことを示している。 しかし、最小限のデータ(約1Kの例)を持つコードスイッチング DPOは、ミスアライメントを大幅に減らし、これらの失敗は基本的な制限ではなく、アライメントが不十分であることを示している。 この結果から,マルチリンガル LLM と実世界のコード交換インタラクションにおけるユーザの暗黙の期待を一致させる必要性が浮き彫りになった。

関連論文リスト

• Language Confusion Gate: Language-Aware Decoding Through Model Self-Distillation [50.93756215410832]
  本稿では,デコード時にトークンをフィルタリングする軽量なプラグインソリューションであるLanguage Confusion Gate (LCG)を紹介する。 LCGは、標準調整自己蒸留を用いて訓練され、適切な言語ファミリーを予測し、必要に応じてマスクを適用する。
  論文  参考訳（メタデータ） (2025-10-20T14:02:37Z)
• Lost in the Mix: Evaluating LLM Understanding of Code-Switched Text [25.05270733872823]
  コードスイッチング(英: Code-switching、CSW)とは、1つの言説の中で2つ以上の言語を交互に行う行為である。 大規模言語モデル(LLM)は現在、コンテンツと通信生成の中心となっている。
  論文  参考訳（メタデータ） (2025-06-16T21:19:27Z)
• Lost in Multilinguality: Dissecting Cross-lingual Factual Inconsistency in Transformer Language Models [49.16690802656554]
  複数の言語で意味論的に等価なプロンプトに対して一貫した応答を提供するのに、多言語の事実モデルでは苦労していることがわかった。 最終層での計算をバイパスし,予測精度と言語間の整合性を向上する線形ショートカット手法を提案する。
  論文  参考訳（メタデータ） (2025-04-05T19:43:10Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning [66.31509106146605]
  命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。 しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。 InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
  論文  参考訳（メタデータ） (2023-05-23T02:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。