論文の概要: VeriTrail: Closed-Domain Hallucination Detection with Traceability
- arxiv url: http://arxiv.org/abs/2505.21786v1
- Date: Tue, 27 May 2025 21:36:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 17:35:50.305995
- Title: VeriTrail: Closed-Domain Hallucination Detection with Traceability
- Title（参考訳）: VeriTrail: トレーサビリティによる閉領域幻覚検出
- Authors: Dasha Metropolitansky, Jonathan Larson,
- Abstract要約: MGSプロセスとSGSプロセスの両方にトレーサビリティを提供するために設計された最初の閉領域幻覚検出法を提案する。
また、全ての中間出力と、各MGSプロセスに対する最終的な出力の忠実度に関する人間のアノテーションを含む最初のデータセットについても紹介する。
- 参考スコア（独自算出の注目度）: 1.8262547855491458
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Even when instructed to adhere to source material, Language Models often generate unsubstantiated content - a phenomenon known as "closed-domain hallucination." This risk is amplified in processes with multiple generative steps (MGS), compared to processes with a single generative step (SGS). However, due to the greater complexity of MGS processes, we argue that detecting hallucinations in their final outputs is necessary but not sufficient: it is equally important to trace where hallucinated content was likely introduced and how faithful content may have been derived from the source through intermediate outputs. To address this need, we present VeriTrail, the first closed-domain hallucination detection method designed to provide traceability for both MGS and SGS processes. We also introduce the first datasets to include all intermediate outputs as well as human annotations of final outputs' faithfulness for their respective MGS processes. We demonstrate that VeriTrail outperforms baseline methods on both datasets.
- Abstract（参考訳）: 原資料に固執するように指示されたとしても、言語モデルはしばしば「閉領域幻覚」として知られる、根拠のない内容を生成する。
このリスクは、単一の生成ステップ(SGS)のプロセスと比較して、複数の生成ステップ(MGS)のプロセスで増幅される。
しかし, MGSプロセスの複雑さが大きいため, 最終出力における幻覚の検出は必要だが十分ではない,と論じる。
そこで本研究では,MGSプロセスとSGSプロセスの両方にトレーサビリティを提供するために設計された,最初の閉領域幻覚検出手法であるVeriTrailを提案する。
また、全ての中間出力と、各MGSプロセスに対する最終的な出力の忠実度に関する人間のアノテーションを含む最初のデータセットについても紹介する。
VeriTrailは、両方のデータセットのベースラインメソッドよりも優れています。
関連論文リスト
- Learning Auxiliary Tasks Improves Reference-Free Hallucination Detection in Open-Domain Long-Form Generation [78.78421340836915]
オープンドメイン長文応答における参照なし幻覚検出を系統的に検討する。
その結果,内的状態は事実と幻覚的内容とを確実に区別するには不十分であることが判明した。
RATE-FTと呼ばれる新しいパラダイムを導入し、モデルが幻覚検出のメインタスクと共同で学習するための補助的なタスクで微調整を強化する。
論文 参考訳（メタデータ） (2025-05-18T07:10:03Z) - Learning on LLM Output Signatures for gray-box Behavior Analysis [52.81120759532526]
大きな言語モデル(LLM)は広く採用されていますが、その振る舞いに対する私たちの理解は限定的です。
グレーボックス設定におけるプロセス汚染とデータ検出のためのトランスフォーマーベースのアプローチを開発する。
提案手法は,グレーボックス設定における幻覚とデータ検出における優れた性能を実現し,既存のベースラインを著しく上回る。
論文 参考訳（メタデータ） (2025-03-18T09:04:37Z) - ForgerySleuth: Empowering Multimodal Large Language Models for Image Manipulation Detection [107.86009509291581]
我々はForgerySleuthを提案し、包括的ヒント融合を行い、改ざんされた領域を示すセグメンテーション出力を生成する。
ForgeryAnalysisの有効性を実証し,ForgerySleuthが既存手法の堅牢性,一般化性,説明可能性において著しく優れていたことを示す。
論文 参考訳（メタデータ） (2024-11-29T04:35:18Z) - Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
我々は2万以上の実世界のサンプルからなる関係幻覚を対象とする総合的なベンチマークであるReefknotを紹介した。
関係幻覚を体系的に定義し、知覚的視点と認知的視点を統合するとともに、Visual Genomeのシーングラフデータセットを用いて関係ベースのコーパスを構築する。
本稿では,Reefknotを含む3つのデータセットに対して,幻覚率を平均9.75%削減する信頼性に基づく新たな緩和戦略を提案する。
論文 参考訳（メタデータ） (2024-08-18T10:07:02Z) - Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses [25.692970375644435]
本稿では,システム応答を書き換えることで,忠実な出力と幻覚的な出力の両方を自動的に生成する手法を提案する。
実験結果から、我々の生成したデータセットを微調整したT5ベースモデルが、最先端のゼロショット検出器を超越していることが判明した。
論文 参考訳（メタデータ） (2024-07-07T19:19:32Z) - Relevant Entity Selection: Knowledge Graph Bootstrapping via Zero-Shot
Analogical Pruning [4.281723404774889]
そこで本研究では,KGのシードエンティティから始まり,その近傍のエンティティを保存・熟成するアナロジーに基づくアプローチを提案する。
ウィキデータに対する我々のアプローチは、ドメイン均質または異質なシードエンティティを含む2つの手動ラベル付きデータセットを通して評価する。
論文 参考訳（メタデータ） (2023-06-28T15:17:59Z) - Don't Say What You Don't Know: Improving the Consistency of Abstractive
Summarization by Constraining Beam Search [54.286450484332505]
本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。
本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
論文 参考訳（メタデータ） (2022-03-16T07:13:52Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳（メタデータ） (2020-11-05T00:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。