論文の概要: CrossHallu: Do Hallucination Signals Generalize Across Languages and Domains in Large Language Model's Internals?
- arxiv url: http://arxiv.org/abs/2607.04029v1
- Date: Sat, 04 Jul 2026 21:01:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.800806
- Title: CrossHallu: Do Hallucination Signals Generalize Across Languages and Domains in Large Language Model's Internals?
- Title（参考訳）: CrossHallu: 大規模言語モデルの内部における言語とドメインを一般化する幻覚信号は存在するか?
- Authors: Aisha Alansari, Malak Alkhorasani, Hamzah Luqman,
- Abstract要約: 国内の幻覚検出技術は、主に英語で研究されている。
幻覚検出の言語横断およびドメイン横断の一般化を初めて評価したCrossHalluについて述べる。
- 参考スコア（独自算出の注目度）: 3.390043185264311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent hallucination detection techniques in large language models (LLMs) focus on directly extracting features from a model's internal representations and training a classifier on these features to detect hallucinations, demonstrating promising results. Notwithstanding this advancement, most internal-state hallucination detection techniques have been explored predominantly in English, raising the question of whether such internal signals generalize across different languages and domains. To address this gap, we present CrossHallu, the first study to evaluate the cross-lingual and cross-domain generalization of hallucination detection using internal representations from six LLMs on the generative question-answering task. We conduct a systematic Arabic <-> English evaluation using TruthfulQA, an Arabic translated version of TruthfulQA, and HalluScore. This evaluation encompasses monolingual training and testing, cross-lingual transfer, cross-domain transfer, and combined cross-lingual and cross-domain transfer. The results reveal that internal-state hallucination signals in LLMs transfer across languages and domains for most models, with cross-lingual performance highly dependent on both class separability and language alignment in the feature space, whereas cross-domain transfer within Arabic varies depending on the training and testing datasets used for the hallucination detector. The code is publicly available at https://github.com/aishaalansari57/CrossHal.
- Abstract（参考訳）: 大規模言語モデル(LLM)における近年の幻覚検出技術は、モデルの内部表現から直接特徴を抽出し、これらの特徴に基づいて分類器を訓練し、幻覚を検知し、有望な結果を示すことに焦点を当てている。
この進歩にもかかわらず、ほとんどの内国幻覚検出技術は英語で主に研究されており、そのような内的信号が様々な言語やドメインにわたって一般化するかどうかという疑問が提起されている。
このギャップに対処するため、CrossHalluは、生成的質問応答タスクにおいて、6つのLLMの内部表現を用いた幻覚検出の言語横断的およびドメイン横断的な一般化を評価するための最初の研究である。
我々は、TruthfulQAのアラビア語訳版であるTruthfulQAとHaluScoreを用いて、体系的なアラビア語<->の英語評価を行う。
この評価には、単言語トレーニングとテスト、クロスランガルトランスファー、クロスドメイントランスファー、クロスランガルトランスファーとクロスドメイントランスファーの組み合わせが含まれる。
その結果, LLMの内的幻覚信号は言語やドメイン間でほとんどのモデルで伝達され, 言語間性能は特徴空間におけるクラス分離性と言語アライメントに大きく依存することがわかった。
コードはhttps://github.com/aishaalansari57/CrossHal.comで公開されている。
関連論文リスト
- When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。
共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。
従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
論文 参考訳（メタデータ） (2026-01-30T11:23:01Z) - Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders [51.380449540006985]
大規模言語モデル(LLM)は多くの言語を処理できるが、どのようにして内部的にこの多様性を表現しているのかは不明だ。
言語固有のデコーディングと多言語表現を共有できるのでしょうか?
層間トランスコーダ(CLT)と属性グラフを用いて内部メカニズムを解析する。
論文 参考訳（メタデータ） (2025-11-13T22:51:06Z) - LiveCLKTBench: Towards Reliable Evaluation of Cross-Lingual Knowledge Transfer in Multilingual LLMs [67.09110757873142]
言語間知識伝達の分離と計測を目的とした自動生成パイプラインであるLiveCLKTBenchを提案する。
我々のパイプラインは、実世界のドメインから自己完結した、時間に敏感な知識エンティティを識別する。
これらの有効なエンティティのドキュメントは、複数の言語に翻訳される事実的な質問を生成するために使用される。
論文 参考訳（メタデータ） (2025-11-03T17:06:49Z) - Ask a Local: Detecting Hallucinations With Specialized Model Divergence [0.16874375111244325]
本研究では,大規模言語モデルに対する新しい幻覚検出手法であるAsk a Localを紹介する。
提案手法は,言語特化モデルのパープレキシティ分布のばらつきを計算し,ハロゲン化の可能性のあるスパンを同定する。
そこで本研究では,14言語にまたがる人間による質問応答データセットについて,一貫した性能を示す。
論文 参考訳（メタデータ） (2025-06-03T20:00:49Z) - CCHall: A Novel Benchmark for Joint Cross-Lingual and Cross-Modal Hallucinations Detection in Large Language Models [20.692539273614763]
本稿では,このギャップを埋めるために,新たな言語間およびモダクティブ・ハロシンクス・ベンチマーク (CCHall) を導入する。
具体的には、CCHallは言語横断とモーダル横断の両方の幻覚シナリオを同時に組み込んでいる。
我々はCCHallについて包括的な評価を行い、主要なオープンソースLLMとクローズドソースLLMの両方を探索する。
論文 参考訳（メタデータ） (2025-05-25T11:54:32Z) - ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection [3.1269598124014264]
本稿では、英語の幻覚検出データセットをドイツ語に拡張するデータセットであるANHALTENを紹介する。
これはトークンレベルの参照なし幻覚検出のための言語間移動を探求する最初の研究である。
サンプル効率の低い小ショット転送は,ほとんどの設定において最も効果的な手法であることを示す。
論文 参考訳（メタデータ） (2024-07-18T17:01:38Z) - Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。
しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか?
本研究は,言語横断的タスクにおける最先端LLMの評価である。
論文 参考訳（メタデータ） (2024-06-23T15:15:17Z) - Probing the Emergence of Cross-lingual Alignment during LLM Training [10.053333786023089]
多言語大言語モデル(LLM)は、ゼロショットの多言語間転送性能を著しく向上させる。
本研究では,LLMの事前学習において,このような言語間アライメントがどのように出現するかを検討する。
ニューロンの重なり合いと下流性能の相関関係を観察する。
論文 参考訳（メタデータ） (2024-06-19T05:31:59Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-24T03:35:00Z) - Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks [6.7155846430379285]
ゼロショット言語間転送では、ある言語のコーパスでトレーニングされた教師付きnlpタスクが、追加のトレーニングなしで他の言語に直接適用されます。
最近導入されたクロス言語言語モデル(XLM)プリトレーニングは、トランスフォーマースタイルのネットワークでニューラルパラメータの共有をもたらす。
本稿では,XLM事前学習により生じる仮説上強い言語間移動特性を検証することを目的とする。
論文 参考訳（メタデータ） (2021-01-26T09:21:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。