論文の概要: Beyond Document Grounding: Span-Level Hallucination Detection over Code, Tool Output, and Documents
- arxiv url: http://arxiv.org/abs/2607.00895v1
- Date: Wed, 01 Jul 2026 13:01:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.896809
- Title: Beyond Document Grounding: Span-Level Hallucination Detection over Code, Tool Output, and Documents
- Title（参考訳）: ドキュメントグラウンディングを超えて:コードのスパンレベル幻覚検出、ツール出力、ドキュメント
- Abstract要約: 検索増強世代(RAG)に対する幻覚検出は通常、自然言語文書の証拠に基づいて評価される。
我々は、コード、ツール出力、構造化文書、既存の自然言語RAGデータセットに対するスパンレベル幻覚検出のための統一ベンチマークを導入する。
- 参考スコア（独自算出の注目度）: 10.262113115662334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hallucination detection for retrieval-augmented generation (RAG) is usually evaluated on natural-language document evidence. However, grounded generation systems increasingly rely on structured inputs: source code, developer-tool output, markdown documents, tables, and repository metadata. We introduce a unified benchmark for span-level hallucination detection over code, tool output, structured documents, and existing natural-language RAG datasets. The benchmark is built by starting from grounded correct answers, injecting localized hallucinations with exact character labels, and validating the code test split with evidence-based review. Our fine-tuned Qwen3.5-2B detector reaches 0.689 span-F1 on the unified test set and 0.60 on the code-agent source, where it substantially outperforms LettuceDetect-large (0.17) and the strongest zero-shot LLM judges we evaluated (at most 0.22). The same model remains competitive on established natural-language benchmarks, with 81.8 RAGTruth example-F1 and 0.724 English PsiloQA IoU.
- Abstract（参考訳）: 検索増強世代(RAG)に対する幻覚検出は通常、自然言語文書の証拠に基づいて評価される。
しかし、基底生成システムは、ソースコード、開発者ツール出力、マークダウン文書、テーブル、リポジトリメタデータといった構造化された入力にますます依存している。
我々は、コード、ツール出力、構造化文書、既存の自然言語RAGデータセットに対するスパンレベル幻覚検出のための統一ベンチマークを導入する。
ベンチマークは、接地された正しい回答から始まり、正確な文字ラベルで局所的な幻覚を注入し、コードテストがエビデンスベースのレビューで分割されたことを検証することによって構築される。
我々の微調整されたQwen3.5-2B検出器は、統一されたテストセットで0.689スパンF1、コードエージェントソースで0.60に到達し、LetuceDetect-large(0.17)と評価した最強のゼロショットLCM判定器(最大0.22)を著しく上回った。
81.8 RAGTruth の例-F1 と 0.724 の英語 PsiloQA IoU である。
関連論文リスト
- Meddies-PII: A Multilingual Framework for Personally Identifiable Information Extraction in Clinical De-identification [0.649970685896541]
我々は17の言語と9のPIIラベルにまたがる100万の合成臨床文書のコーパスであるMeddies-PII-Datasetを紹介した。
文書は属性条件付きプロンプトを使用して生成され、13の決定論的ゲートを通じて検証される。
Meddies-PII-Modelは、報告された全てのベンチマークで評価されたシステムの中で最高の性能を達成する。
論文 参考訳（メタデータ） (2026-09-11T07:53:52Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - MonkeyOCRv2: A Visual-Text Foundation Model for Document AI [71.06391669976786]
MonkeyOCRv2は、ドキュメントAIのためのビジュアルテキスト事前トレーニングモデルである。
MonkeyDoc v2は17言語にまたがる1億1300万のイメージからなる、最大規模のドキュメントイメージ事前トレーニングコーパスである。
論文 参考訳（メタデータ） (2026-07-13T13:43:39Z) - SPECTRA: Synthetic IR Test Collections with Relevance Oracles and Controlled Distractor Diagnostics [0.8557392136621891]
本稿では,合成テキストコーパスと検索テストコレクションを生成するための再現可能なフレームワークであるSPECTRAを紹介する。
シングルプロセスのPythonプロトタイプは、最大6万のドキュメントと9.61万のトークンをコーパス生成し、制御可能な長尾語彙の成長を保存する。
その結果,軽量合成コーパスは,コストのかかるコレクション構築を開始する前に,検索システムスケーリングと障害モードを公開することができることがわかった。
論文 参考訳（メタデータ） (2026-05-29T17:44:15Z) - DocAtlas: Multilingual Document Understanding Across 80+ Languages [58.715440331861295]
本稿では,82言語を対象とした高忠実度OCRデータセットとベンチマークを構築するフレームワークDocAtlasを紹介する。
我々のデュアルパイプライン、ネイティブDOCX文書の微分レンダリング、左右スクリプトの合成ベース生成は正確な構造アノテーションを生成する。
論文 参考訳（メタデータ） (2026-05-12T18:09:38Z) - Whitespaces Don't Lie: Feature-Driven and Embedding-Based Approaches for Detecting Machine-Generated Code [0.2624902795082451]
大規模言語モデル(LLM)は、自然言語のプロンプトから可塑性ソースコードを驚くほど簡単に合成できる。
本稿では,2つの相補的アプローチを比較することで,機械生成コードと人間の書き起こしを区別する問題について検討する。
論文 参考訳（メタデータ） (2026-01-27T06:43:51Z) - A document processing pipeline for the construction of a dataset for topic modeling based on the judgments of the Italian Supreme Court [5.612141846711729]
トピックモデリングに最適化された匿名化データセットを生成する文書処理パイプラインを開発した。
パイプラインは文書レイアウト解析(YOLOv8x)、光学文字認識、テキスト匿名化を統合している。
OCRのみの手法と比較して,多様性スコア0.6198,コヒーレンススコア0.6638でトピックモデリングを改善した。
論文 参考訳（メタデータ） (2025-05-13T11:06:24Z) - C-FAITH: A Chinese Fine-Grained Benchmark for Automated Hallucination Evaluation [58.40263551616771]
本稿では,いくつかの知識文書に基づいて,詳細なQAデータセットを自動的に構築するエージェントフレームワークであるHaluAgentを紹介する。
本実験は,手作業で設計したルールと迅速な最適化により,生成データの品質が向上できることを実証する。
論文 参考訳（メタデータ） (2025-04-14T12:21:55Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳（メタデータ） (2024-07-16T17:58:27Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳（メタデータ） (2023-11-15T14:41:57Z) - Precise Zero-Shot Dense Retrieval without Relevance Labels [60.457378374671656]
仮説文書埋め込み(英: hypothetical Document Embeddings, HyDE)は、ゼロショット高密度検索システムである。
我々は,HyDEが最先端の非教師付き高密度検索器であるContrieverを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2022-12-20T18:09:52Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。