論文の概要: Does the Truthfulness Signal Survive Code-Mixing? Probing Hidden States for Hallucination Detection in Hinglish

• arxiv url: http://arxiv.org/abs/2609.22138v1
• Date: Tue, 25 Aug 2026 10:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.729435
• Title: Does the Truthfulness Signal Survive Code-Mixing? Probing Hidden States for Hallucination Detection in Hinglish
• Title（参考訳）: 真実性信号はコードミキシングを救うか? : ヒングリッシュにおける幻覚検出のための隠れ状態を探る
• Abstract要約: 幻覚信号はコードミキシングがうまく残っていることが分かりました。 ヒンディー語で訓練されたプローブは、英語で訓練されたプローブよりも確実にヒンッシュ語に転送される。 いずれのモデルもヒンディー語とヒングリッシュ語の方が、一致した事実に対して英語よりも幻覚的である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hidden-state hallucination probing - training a linear classifier on an LLM's internal activations to detect whether a generated answer is faithful to the input - is an active area of 2026 research, with recent work reporting 0.90-1.00 AUROC across several benchmarks and languages. However, none of this work has tested probes on code-mixed input, despite the fact that a huge population of chatbot users write in Hindi-English code-mixed text ("Hinglish"). We address this gap directly: does a hallucination probe trained on clean-language hidden states transfer to Hinglish, or does the signal degrade under code-mixing? We construct a 5,674-item Hindi/English/Hinglish QA benchmark, generate and label 17,022 model responses across three open-weight 7-8B LLMs (Qwen2.5-7B, Mistral-7B, Llama-3.1-8B), extract per-layer hidden states at two token positions, and train linear and MLP probes for in-distribution detection and cross-lingual transfer. We find that the hallucination signal survives code-mixing well: transfer AUROC ranges from 0.88 to 0.99, with gaps of mostly under 0.05 AUROC relative to in-distribution performance, and that Hindi-trained probes transfer to Hinglish more reliably than English-trained probes. As an independent, practically motivated finding, all three models hallucinate substantially more on Hindi and Hinglish than on English for matched facts. We release our code and synthetic Hinglish QA dataset to support further work on code-mixed hallucination detection.
• Abstract（参考訳）: 隠れ状態幻覚探索(Hudden-state Hallucination Probing) - LLMの内部アクティベーションに線形分類器をトレーニングして、生成した回答が入力に忠実かどうかを検出する - は2026年の活発な研究領域であり、最近の研究報告では複数のベンチマークや言語で0.90-1.00 AUROCが報告されている。 しかし、この研究は、多くのチャットボットユーザーがヒンディー語と英語の混成テキスト("Hinglish")で書いているにもかかわらず、コード混成入力に関する調査をしていない("Hinglish")。 クリーンな言語で隠れた状態に基づいて訓練された幻覚プローブは、Hinglishに転送されるか、それとも、コードミキシングの下で信号が劣化するか? 我々は,5,674-item Hindi/English/Hinglish QAベンチマークを構築し,オープンウェイト7-8B LLM(Qwen2.5-7B,Mistral-7B,Llama-3.1-8B)の17,022モデル応答を生成・ラベルし,2つのトークン位置で層間隠れ状態を抽出する。 AUROCの移動は0.88から0.99の範囲で、分布内性能に対して0.05AUROC未満のギャップがあり、ヒンディー語学習プローブはヒンディー語学習プローブよりも確実にヒンディー語への移動が可能である。 独立的で事実上動機づけられた発見として、3つのモデルは全てヒンディー語とヒングリッシュ語で、一致した事実について英語よりもかなり幻覚的である。 我々はコードと合成Hinglish QAデータセットをリリースし、コード混合幻覚検出のさらなる作業を支援する。

関連論文リスト

• A Negative Result on Cross-Model Activation Transfer in a Pythia Multi-Hop Setting [3.38769410126096]
  最近の研究は、学習中に生成されたデータに隠された信号を通して言語モデルが行動特性を伝達できることを示している。 ある言語モデルは、ポストホック線形アクティベーションブリッジを介して、推論時に有用な中間推論状態を他の言語に伝達できるのか? 我々は、制御されたPythia-160MからPythia-410Mのマルチホップ推論設定でこの問題を検証した。
  論文  参考訳（メタデータ） (2026-06-02T07:46:01Z)
• CoHalLo: code hallucination localization via probing hidden layer vector [8.468456925593072]
  本研究では,幻覚検出モデルから隠れ層ベクトルを探索するCoHalLoという新しい手法を提案する。 CoHalLoは、モデルの幻覚判断を駆動する重要な構文情報を発見し、それに従って幻覚コード行を特定する。 実験の結果,CoHalLoは0.4253のTop-1精度,0.6149のTop-3精度,0.7356のTop-5精度,0.8333のTop-10精度,5.73のIFA,0.052721のRecall@1%,0.155269のEffort@20%リコールを実現し,ベースライン法を上回った。
  論文  参考訳（メタデータ） (2025-12-30T12:36:31Z)
• ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection [3.1269598124014264]
  本稿では、英語の幻覚検出データセットをドイツ語に拡張するデータセットであるANHALTENを紹介する。 これはトークンレベルの参照なし幻覚検出のための言語間移動を探求する最初の研究である。 サンプル効率の低い小ショット転送は,ほとんどの設定において最も効果的な手法であることを示す。
  論文  参考訳（メタデータ） (2024-07-18T17:01:38Z)
• Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding [53.84948040596055]
  修正された復号化目標を用いて、障害ケースを緩和する2つの関連手法を提案する。 大規模多言語モデルM2M-100 (418M) とSMaLL-100の実験は、これらの手法が幻覚やターゲット外の翻訳を抑制することを示した。
  論文  参考訳（メタデータ） (2023-09-13T17:15:27Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。