論文の概要: Output Language Confusion under Multilingual Prompt Contamination

• arxiv url: http://arxiv.org/abs/2610.02926v1
• Date: Fri, 02 Oct 2026 07:16:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.253335
• Title: Output Language Confusion under Multilingual Prompt Contamination
• Title（参考訳）: 多言語プロンプト汚染下における出力言語融合
• Abstract要約: 軽量かつ完全に複製可能な評価プロトコルであるMDI(Multilingual Distractor Interference)を導入する。 TortfulQA と TriviaQA にまたがる5つの命令調整 LLM を8つの障害条件下で評価した。 Llama-3.1-8Bはヒンディー語に注意を払い、反応の58%はデバナガリ文字に切り替え、生の幻覚のプロキシは0.710である。
• 参考スコア（独自算出の注目度）: 1.0139836117407375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard factual benchmarks assume clean monolingual prompts and exact-match scoring, two assumptions that break simultaneously in real-world multilingual deployment, from retrieval-augmented generation pipelines returning mixed-language passages to users pasting multilingual web content. We introduce Multilingual Distractor Interference (MDI), a lightweight and fully replicable evaluation protocol requiring no new data or annotation, in which factual questions are preceded by a semantically irrelevant foreign-language sentence, and evaluate five instruction-tuned LLMs across TruthfulQA and TriviaQA under eight distractor conditions (40,000 evaluations). Our central finding is a metric confound: for Llama-3.1-8B under a Hindi distractor, 58% of responses switch to Devanagari script, yielding a raw hallucination proxy of 0.710, but manual review reveals that 120 of 148 script-switched responses that were correct under clean conditions remain semantically correct despite being written in the wrong script, reducing the adjusted semantic hallucination rate to 0.470. All other models respond through abstention escalation with no hallucination increase. A paragraph-length English distractor triggers near-universal abstention (0.806-0.998) across all models, consistent with reading-comprehension confusion, a failure mode with direct consequences for multilingual RAG pipelines. TruthfulQA multiple-choice accuracy is unaffected under all single-sentence conditions. These results show that exact-match hallucination rates in mixed-language settings should be decomposed into script-switching and semantic error components before drawing conclusions about model reliability.
• Abstract（参考訳）: 標準的な事実ベンチマークでは、現実世界のマルチ言語デプロイメントにおいて同時に発生する2つの仮定である、クリーンなモノリンガルプロンプトと正確なマッチスコアを仮定している。 MDI(Multilingual Distractor Interference)は,新たなデータやアノテーションを必要としない軽量かつ完全複製可能な評価プロトコルで,意味的に無関係な外国語文が事実質問に先行し,TruthfulQA と TriviaQA にまたがる5つの命令チューニング LLM を8つの注意条件下で評価する(4万評価)。 Llama-3.1-8B がヒンディー語の注意を引いた場合、58% の応答がデバナガリ文字に切り替えられ、生の幻覚のプロキシが 0.710 になるが、マニュアルレビューでは、クリーンな条件下で修正された148 の応答のうち120 が、間違ったスクリプトで書かれたにもかかわらず意味的に正しいことが判明し、調整された意味幻覚率は 0.470 に低下した。 他の全てのモデルは、幻覚を増すことなく、禁忌のエスカレーションを通じて反応する。 パラグラフ長のイングリッシュ・トラクタは、多言語RAGパイプラインに直接的な結果をもたらす障害モードである読み・理解の混乱と整合して、全モデルにほぼ普遍的な中断(0.806-0.998)をトリガーする。 TruthfulQA多重選択精度は、すべての単一文条件下では影響を受けない。 これらの結果から,混合言語設定における高精度幻覚率を,モデル信頼性に関する結論を引き出す前に,スクリプトスイッチングと意味的誤り成分に分解すべきであることが示唆された。

関連論文リスト

• Beyond Cross-Lingual Transfer: Benchmarking Propagation Boundaries in Multilingual LLM Unlearning [80.05116806217397]
  大言語モデル(LLM)のアンラーニングは、汎用性を保ちながら、目標とする知識を抑えることを目的としている。 CLLPU(Cross-Lingual and Language-Bound Protocol for LLM Unlearning)は,この問題を2つの設定で定式化する多言語ベンチマークである。 目標とする知識がすべての言語で抑制されるべき共通目標の忘れ、言語条件の忘れ、抑圧は指定された言語に限定されるべきである。
  論文  参考訳（メタデータ） (2026-09-05T08:26:15Z)
• Evaluating Multilingual Sentence Embeddings for Translation Error Detection:An English--Greek Contrastive Study [0.0]
  本研究は,多言語埋め込みモデルが正しい英語-ギリシャ語翻訳を区別できるかどうかを考察する。 10コアに1,850のサンプルと5つの探索エラーカテゴリが含まれている。 埋め込みモデルは、テンソル・アンド・アスペクトや代名詞・基準誤差よりも明確な事実・語彙的変化を確実に検出した。
  論文  参考訳（メタデータ） (2026-08-28T18:32:54Z)
• Better Decomposition, Free Aggregation: A Synthesizer-Folding Framework for Multilingual Multi-Hop Question Answering [48.94279718429342]
  マルチリンガルなマルチホップ質問応答のためのフレームワークであるSyferを紹介する。 Syferは、デフォルトで適用するのではなく、翻訳をデフェクトする。 複数の言語で実験した結果、Syferは競争の正確さを達成できた。
  論文  参考訳（メタデータ） (2026-08-13T12:25:59Z)
• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• Multilingual Verifier Bias in RLVR: Benchmark, Rollout Diagnosis, and the Cross-Lingual Selection Bottleneck [6.406377225565017]
  正確なマッチング検証器は、形式とスクリプトのバリエーションを言語依存の偽陰性報酬雑音に変換する。 マルチリンガルなRLVR報酬を監査するための再利用可能なプロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-17T15:55:54Z)
• SN-WER: Script-Normalized WER for Multi-Script Indic ASR Evaluation [0.8243795440723053]
  Script-Normalized WER (SN-WER) は、トレーニングフリーで評価のみのスコアリング手法である。 SN-WERを5つのIndic言語、2つのデータセット、3つのASRモデルで評価した。
  論文  参考訳（メタデータ） (2026-06-01T17:49:10Z)
• PolyPrompt: Automating Knowledge Extraction from Multilingual Language Models with Dynamic Prompt Generation [0.0]
  大規模言語モデル(LLM)の多言語機能を強化するための新しいパラメータ効率フレームワークであるPolyPromptを紹介する。 提案手法では,各言語に対するトリガトークンの集合を勾配に基づく探索により学習し,入力クエリの言語を識別し,推論中にプロンプトにプリコンパイルされた対応するトリガトークンを選択する。 我々は20億のパラメータモデルで実験を行い、15の類型的および資源的多様言語にわたる世界MMLUベンチマークで評価を行い、ナイーブおよびトランスレーショナル・ピペリンベースラインと比較して3.7%-19.9%の精度向上を示した。
  論文  参考訳（メタデータ） (2025-02-27T04:41:22Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。