論文の概要: Decomposed Entailment for Factuality Checking and Hallucination Detection
- arxiv url: http://arxiv.org/abs/2608.05823v1
- Date: Thu, 06 Aug 2026 09:52:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.872594
- Title: Decomposed Entailment for Factuality Checking and Hallucination Detection
- Title(参考訳): ファクチュアリティチェックと幻覚検出のための分解エンターメント
- Abstract要約: HallDetectは、幻覚検出のための軽量で、参照不要で、ブラックボックスのフレームワークである。
生成されたコンテンツは原子クレームに分解され、コンパクトエンコーダベースのエンテーメントモデルによって検証される。
制御されたプロトコルでは、すべてのメソッドは同じ4ビットの量子化バックボーンとコンシューマグレードのハードウェア予算を共有している。
- 参考スコア(独自算出の注目度): 0.3602004729891047
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The reliability of Large Language Models (LLMs) is often compromised by factual inconsistencies, including hallucinations---cases where generated content is not supported by the underlying source. We present HallDetect, a lightweight, reference-free, and black-box framework for hallucination detection that we evaluate not only on summarization but across a broader range of source-grounded generation settings. HallDetect builds on decomposition-based factuality evaluation: generated content is decomposed into atomic claims, each verified by a compact encoder-based entailment model through a contrastive formulation over a multi-scale library of source chunks, and aggregated with an asymmetric score in which a single confidently contradicted claim flags the response. Under a controlled protocol in which all methods share the same 4-bit quantized backbones and consumer-grade hardware budget, HallDetect outperforms comparably resourced generative and embedding-based baselines on three of four benchmarks while remaining stable across backbone families, and yields a claim-to-span audit trail that localizes each error.
- Abstract(参考訳): LLM(Large Language Models)の信頼性は、しばしば幻覚を含む現実的な矛盾によって損なわれます。
本稿では,HalDetectを提案する。HalDetectは,覚醒検出のための軽量で参照不要でブラックボックスのフレームワークで,要約だけでなく,より広い範囲のソース・グラウンド・ジェネレーション・セッティング・セッティングで評価する。
HallDetectは、分解に基づく事実性評価に基づく:生成されたコンテンツは原子クレームに分解され、それぞれがコンパクトエンコーダベースのエンテールメントモデルによって検証され、ソースチャンクのマルチスケールライブラリ上で対照的に定式化され、単一の確実に矛盾したクレームが応答をフラグする非対称スコアで集約される。
すべてのメソッドが同じ4ビットの量子化バックボーンとコンシューマグレードのハードウェア予算を共有する制御されたプロトコルの下で、HalDetectは4つのベンチマークのうち3つのベンチマークで比較可能なリソースと埋め込みベースのベースラインをパフォーマンスし、バックボーンファミリ間で安定し、各エラーをローカライズするクレーム・ツー・スパン監査パスを生成する。
関連論文リスト
- Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models [105.53190946111586]
我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。
これらの障害を監査し、最小限に修正する、解釈可能性指向のフレームワークを提案する。
複数の拡散バックボーンにまたがるスタイルと属性の故障事例について,提案手法の評価を行った。
論文 参考訳(メタデータ) (2026-09-09T09:07:40Z) - Differentiable Interval Bottlenecks for Interpretable Anomaly Detection in Numerical Data [0.5213778368155993]
DIFFINTは、遅延ボトルネックがソフトな軸方向のインターバルメンバシップのセットとして構成されるオートエンコーダである。
統計的にタイトされた7つの方法のリードクラスターの中で唯一の解釈可能な検出器である。
論文 参考訳(メタデータ) (2026-09-03T14:05:27Z) - Faithful by Construction: Claim-Anchored Attribution for Multi-Document Summarization [1.1168121941015015]
Claim-Anchored Multi-Docment Summarization framework (CAMS)
Claim-Anchored Multi-Docment Summarization framework (CAMS)
論文 参考訳(メタデータ) (2026-06-22T22:39:08Z) - Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding [64.98167175790817]
本稿では、ソース文書の一貫性と他の候補間のコンセンサスという2つの要因を考慮し、候補要約を再引用するConSUMを提案する。
我々のシステムは既存の手法と競合しており、人による評価により、生成した要約が他のシステムよりも好まれていることが確認されている。
論文 参考訳(メタデータ) (2026-05-28T04:14:43Z) - K$α$LOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks [4.297070083645049]
本稿では,「ローカライゼーションファースト」の原理を一般化した統一メタアルゴリズムであるK$LOSを提案する。
合意を査定する前に空間対応を解消することにより,複雑な分類問題を名目上の信頼性に変換する。
論文 参考訳(メタデータ) (2026-03-28T08:54:05Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。
UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。
ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
論文 参考訳(メタデータ) (2025-09-01T13:14:58Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - Reconstructing Trust Embeddings from Siamese Trust Scores: A Direct-Sum Approach with Fixed-Point Semantics [0.0]
本研究では,多くの分散セキュリティフレームワークが公開している1次元シームズ信頼スコアから高次元信頼埋め込みを再構築する逆問題について検討する。
合成ベンチマークのスイートは、ガウスノイズの存在下でも、回収された埋め込みはユークリッドとコサインの計測値によって測定されたデバイス間幾何学を保存することを確認している。
詳細な信頼スコアを公開することで、デバイスと評価モデルの両方に関する潜伏した行動情報が漏洩する可能性がある。
論文 参考訳(メタデータ) (2025-08-02T20:19:22Z) - Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。
QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
論文 参考訳(メタデータ) (2024-10-09T22:53:48Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳(メタデータ) (2023-10-18T16:27:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。