Fugu-MT 論文翻訳(概要): CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations

論文の概要: CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations

arxiv url: http://arxiv.org/abs/2606.31033v1
Date: Tue, 30 Jun 2026 02:04:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:19.040238
Title: CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations
Title（参考訳）: CORTEX:内部表現の比較によるRAGのToken-Level Hallucination検出
Abstract要約: 検索型拡張生成(RAG)のためのトークンレベルの幻覚検出手法であるCORTEXを提案する。 CORTEXはトークンレベルで未解決のコンテンツを識別し、幻覚の微細な局所化を可能にする。 2つのRAGベンチマークと3つのLCMによる実験により、CORTEXはトークンレベルの幻覚検出を大幅に改善することが示された。
参考スコア（独自算出の注目度）: 0.3588755990737065
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose CORTEX, a token-level hallucination detection method for Retrieval-Augmented Generation (RAG). In long-form RAG outputs, hallucinations often arise in localized spans rather than throughout an entire response. CORTEX therefore identifies ungrounded content at the token level, enabling fine-grained localization of hallucinations. The key intuition behind CORTEX is that tokens grounded in retrieved documents should be more strongly influenced by those documents than hallucinated tokens. To capture this document-induced effect, CORTEX compares internal representations of a large language model (LLM) under two conditions: with and without the retrieved documents. Instead of relying solely on each token's immediate sensitivity to the retrieved documents, CORTEX also leverages the propagation of document-grounded information through preceding tokens, reducing false positives for tokens whose evidence has already been absorbed into the context. Finally, CORTEX applies post-processing smoothing step that models the tendency of hallucination labels to persist over contiguous spans, reducing local noise and encouraging span-consistent predictions. Experiments on two RAG benchmarks and three LLMs show that CORTEX substantially improves token-level hallucination detection, with each component consistently contributing to performance gains.
Abstract（参考訳）: 本稿では,Retrieval-Augmented Generation (RAG) のためのトークンレベルの幻覚検出手法であるCORTEXを提案する。ロングフォームなRAG出力では、幻覚は応答全体を通してではなく、局所化されたスパンで生じることが多い。したがって、CORTEXはトークンレベルで未解決のコンテンツを識別し、幻覚の微細な局所化を可能にする。 CORTEXの背景にある重要な直感は、抽出された文書に基づいたトークンは、幻覚されたトークンよりも、これらの文書に強く影響されるべきだということである。この文書による影響を捉えるため、CORTEXは大きな言語モデル(LLM)の内部表現を2つの条件で比較する。 CORTEXは、取得した文書に対する各トークンの即時感度にのみ依存するのではなく、前のトークンを通じて文書のグラウンド情報の伝播を利用して、証拠が既に文脈に吸収されているトークンに対する偽陽性を減らしている。最後に、CORTEXは後処理のスムースなステップを適用し、幻覚ラベルが連続したスパンに持続する傾向をモデル化し、局所的なノイズを低減し、スパン一貫性のある予測を促進する。 2つのRAGベンチマークと3つのLCMによる実験により、CORTEXはトークンレベルの幻覚検出を大幅に改善し、各コンポーネントはパフォーマンス向上に一貫して寄与している。

関連論文リスト

Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals [2.2302915692528367]
InnerExpertは、MoE固有の信号を利用して幻覚検出を行う最初の方法である。以上の結果から,InnerExpertは5つのデータセットと2つのMoEアーキテクチャで既存のメソッドよりも優れていることがわかった。
論文参考訳（メタデータ） (2026-08-18T12:00:20Z)
From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection [13.55239135877789]
ASRモデルの幻覚は下流のアプリケーションにリスクをもたらす。本稿では,Whisperの大容量v3幻覚検出法について検討する。
論文参考訳（メタデータ） (2026-06-22T09:13:04Z)
ForensicZip: More Tokens are Better but Not Necessary in Forensic Vision-Language Models [108.5042835056188]
フォージェリ駆動の観点からトークン圧縮を再構築するトレーニングフリーフレームワークであるForensicZipを紹介した。 ForensicZipは、最先端検出性能を維持しながら、スピードアップとFLOPの90%以上を達成している。
論文参考訳（メタデータ） (2026-03-12T17:30:49Z)
SPAD: Seven-Source Token Probability Attribution with Syntactic Aggregation for Detecting Hallucinations in RAG [22.728635614354612]
本研究では,検索した文脈における幻覚検出システムであるSPADを紹介する。我々は、各トークンの確率を7つの異なる情報源に数学的に分類する。この属性は、各ソースが現在のトークンの生成にどのように貢献するかを定量化する。 POSタグでこれらのスコアを集約し、異なるコンポーネントが特定の言語カテゴリをどう駆動するかを定量化します。
論文参考訳（メタデータ） (2025-12-08T12:50:41Z)
JointCQ: Improving Factual Hallucination Detection with Joint Claim and Query Generation [40.64428172310572]
現在の大きな言語モデル(LLM)は、しばしば幻覚(幻覚)の問題に悩まされる。本研究では,効率的なクレーム・クエリ・ジェネレータの構築を目的とした共同クレーム・アンド・クエリ生成フレームワークであるJointCQを紹介する。提案フレームワークは、精巧に設計された評価基準を利用して、合成トレーニングデータをフィルタリングし、共同クレーム抽出とクエリ生成のための言語モデルを微調整する。
論文参考訳（メタデータ） (2025-10-22T07:15:37Z)
HalluMix: A Task-Agnostic, Multi-Domain Benchmark for Real-World Hallucination Detection [0.0]
本稿では,オープンかつクローズドソースの両面から幻覚検出システムを評価するために,ベンチマークをどのように利用できるかを示す。本ベンチマークを用いて,幻覚検出システムの7つの実装をオープンソースおよびクローズドソースで評価した。 Reval Augmented Reval Detectionsは、F1スコアが0.84の精度で、全体的なパフォーマンスが最高である。
論文参考訳（メタデータ） (2025-05-01T13:22:45Z)
Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models [58.952782707682815]
COFTは、異なるレベルのキーテキストにフォーカスする新しい方法であり、長いコンテキストで失われることを避ける。知識幻覚ベンチマークの実験ではCOFTの有効性が示され、F1スコアの30%以上の性能が向上した。
論文参考訳（メタデータ） (2024-10-19T13:59:48Z)
OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
論文参考訳（メタデータ） (2023-11-29T18:57:07Z)
Precise Zero-Shot Dense Retrieval without Relevance Labels [60.457378374671656]
仮説文書埋め込み(英: hypothetical Document Embeddings, HyDE)は、ゼロショット高密度検索システムである。我々は,HyDEが最先端の非教師付き高密度検索器であるContrieverを著しく上回っていることを示す。
論文参考訳（メタデータ） (2022-12-20T18:09:52Z)
A Token-level Reference-free Hallucination Detection Benchmark for Free-form Text Generation [50.55448707570669]
本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
論文参考訳（メタデータ） (2021-04-18T04:09:48Z)
Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。