論文の概要: JointCQ: Improving Factual Hallucination Detection with Joint Claim and Query Generation
- arxiv url: http://arxiv.org/abs/2510.19310v1
- Date: Wed, 22 Oct 2025 07:15:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:15.237564
- Title: JointCQ: Improving Factual Hallucination Detection with Joint Claim and Query Generation
- Title(参考訳): JointCQ:ジョイントクレームとクエリ生成によるファクチュアル・ハロシン化検出の改善
- Authors: Fan Xu, Huixuan Zhang, Zhenliang Zhang, Jiahao Wang, Xiaojun Wan,
- Abstract要約: 現在の大きな言語モデル(LLM)は、しばしば幻覚(幻覚)の問題に悩まされる。
本研究では,効率的なクレーム・クエリ・ジェネレータの構築を目的とした共同クレーム・アンド・クエリ生成フレームワークであるJointCQを紹介する。
提案フレームワークは、精巧に設計された評価基準を利用して、合成トレーニングデータをフィルタリングし、共同クレーム抽出とクエリ生成のための言語モデルを微調整する。
- 参考スコア(独自算出の注目度): 40.64428172310572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current large language models (LLMs) often suffer from hallucination issues, i,e, generating content that appears factual but is actually unreliable. A typical hallucination detection pipeline involves response decomposition (i.e., claim extraction), query generation, evidence collection (i.e., search or retrieval), and claim verification. However, existing methods exhibit limitations in the first two stages, such as context loss during claim extraction and low specificity in query generation, resulting in degraded performance across the hallucination detection pipeline. In this work, we introduce JointCQ https://github.com/pku0xff/JointCQ, a joint claim-and-query generation framework designed to construct an effective and efficient claim-query generator. Our framework leverages elaborately designed evaluation criteria to filter synthesized training data, and finetunes a language model for joint claim extraction and query generation, providing reliable and informative inputs for downstream search and verification. Experimental results demonstrate that our method outperforms previous methods on multiple open-domain QA hallucination detection benchmarks, advancing the goal of more trustworthy and transparent language model systems.
- Abstract(参考訳): 現在の大規模言語モデル(LLM)は幻覚的問題に悩まされることが多い。
典型的な幻覚検出パイプラインは、応答分解(クレーム抽出)、クエリ生成、エビデンス収集(検索または検索)、クレーム検証を含む。
しかし、既存の手法では、クレーム抽出時のコンテキスト損失やクエリ生成の特異性が低く、幻覚検出パイプライン全体の性能低下など、最初の2段階に制限がある。
本稿では,効率的なクレーム・クエリ・ジェネレータの構築を目的とした共同クレーム・アンド・クエリ生成フレームワークであるJointCQを紹介する。
提案フレームワークは,精巧に設計された評価基準を利用して,合成学習データをフィルタリングし,共同クレーム抽出とクエリ生成のための言語モデルを微調整し,下流探索と検証のための信頼性と情報入力を提供する。
実験の結果,提案手法は複数のオープンドメインQA幻覚検出ベンチマークにおいて,従来の手法よりも優れており,より信頼性が高く透明な言語モデルシステムの目標を推し進めていることがわかった。
関連論文リスト
- VeriCite: Towards Reliable Citations in Retrieval-Augmented Generation via Rigorous Verification [107.75781898355562]
証拠を厳格に検証し,回答の帰属性を高めるために設計された,VeriCiteと呼ばれる新しいフレームワークを紹介する。
我々は,5つのオープンソースLCMと4つのデータセットを対象とした実験を行い,VeriCiteが回答の正しさを維持しつつ,引用品質を大幅に向上できることを実証した。
論文 参考訳(メタデータ) (2025-10-13T13:38:54Z) - Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。
本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
論文 参考訳(メタデータ) (2025-05-27T11:56:59Z) - Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning [19.30729301157088]
生成前の偽の前提を特定し,対処する検索ベースのフレームワークを提案する。
実験によると、このアプローチは幻覚を効果的に減らし、事実の精度を向上し、モデルロジットへのアクセスや大規模微調整を必要としない。
論文 参考訳(メタデータ) (2025-04-08T21:14:48Z) - HalluCounter: Reference-free LLM Hallucination Detection in the Wild! [6.5037356041929675]
HalluCounterは、応答応答とクエリ応答の整合性とアライメントパターンの両方を利用する参照なし幻覚検出手法である。
我々の手法は最先端の手法よりもかなり優れており、データセット間での幻覚検出における平均信頼度は90%を超えている。
論文 参考訳(メタデータ) (2025-03-06T16:59:18Z) - Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。
FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。
テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-14T18:41:54Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳(メタデータ) (2020-11-05T00:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。