論文の概要: ElementCheck: Complexity-Aware Long-Form Text Factuality Evaluation via Sentence Elements
- arxiv url: http://arxiv.org/abs/2608.26118v2
- Date: Fri, 28 Aug 2026 04:25:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.350224
- Title: ElementCheck: Complexity-Aware Long-Form Text Factuality Evaluation via Sentence Elements
- Title（参考訳）: ElementCheck: 文要素による複雑度を考慮した長文テキストのファクチュアリティ評価
- Abstract要約: 本稿では,文要素による長文出力を検証する複雑性認識フレームワークElementCheckを提案する。
グラフトポロジーは、文の複雑さを推定するための構造信号を提供する。
FastFact-Sentと2つのドメイン固有のベンチマークの実験では、ElementCheckは5つのバックボーンモデル間での事実検証を一貫して改善している。
- 参考スコア（独自算出の注目度）: 47.81185320720445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing long-form factuality evaluation relies on the decompose-retrieve-verify pipeline. However, the pipeline suffers from noise from claim decomposition and fixed verification granularity, resulting in unreliable results. We propose ElementCheck, a complexity-aware framework that verifies long-form outputs via sentence elements. Instead of uniformly decomposing sentences into atomic sub-claims, ElementCheck extracts entity pairs that are explicitly linked through verifiable connections in the original sentence as elements, and organizes these into an element graph. The graph topology provides a structural signal for estimating sentence complexity, enabling direct verification for simple sentences and targeted element-level refinement and verification for complex ones. To support fine-grained evaluation, we construct a new benchmark \textbf{FastFact-Sent} by mapping isolated claims from FastFact-Bench back to their source sentences. Experiments on FastFact-Sent and two domain-specific benchmarks show ElementCheck consistently improves factuality verification across five backbone models while maintaining a favorable accuracy-cost trade-off. Further analyses demonstrate that complexity-aware verification reduces unnecessary re-verification and maintains stability across different backbones. The code is available at \href{https://github.com/gudehhh666/elementcheck.git}{Here}.
- Abstract（参考訳）: 既存の長期的事実性評価は分解-検索-検証パイプラインに依存している。
しかし、パイプラインはクレーム分解と固定された検証粒度のノイズに悩まされ、信頼性の低い結果となる。
本稿では,文要素による長文出力を検証する複雑性認識フレームワークElementCheckを提案する。
ElementCheckは、文をアトミックな部分集合に一様に分解する代わりに、元の文の検証可能な接続を通して明示的にリンクされたエンティティペアを要素として抽出し、これらを要素グラフに整理する。
グラフトポロジは、文の複雑さを推定するための構造信号を提供し、単純な文の直接検証と、複雑な文の要素レベルの改善と検証を可能にする。
詳細な評価を支援するため,FastFact-Benchから分離されたクレームを元の文にマッピングすることで,新しいベンチマークであるtextbf{FastFact-Sent}を構築した。
FastFact-Sentと2つのドメイン固有のベンチマークの実験では、ElementCheckは、5つのバックボーンモデルの事実検証を一貫して改善し、良好な精度とコストのトレードオフを維持している。
さらなる分析により、複雑性を考慮した検証は不要な再検証を減らし、異なるバックボーン間の安定性を維持することが示されている。
コードは \href{https://github.com/gudehhh666/elementcheck.git}{Here} で公開されている。
関連論文リスト
- EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。
EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
論文 参考訳（メタデータ） (2026-09-02T21:00:35Z) - SpecAlign: A Semantic Alignment Framework for SystemVerilog Assertion Generation [6.0174402828965725]
SpecAlignはSystemVerilog Assertionのセマンティック評価と洗練のためのフレームワークである。
我々は,SpecAlignが意味的不整合を効果的に検出し,黄金のRTLに頼ることなくアサーションアライメントを改善することを示す。
論文 参考訳（メタデータ） (2026-05-24T17:22:09Z) - RaV-IDP: A Reconstruction-as-Validation Framework for Faithful Intelligent Document Processing [0.0]
Restructation as Validation (RaV-IDP)は、第一級アーキテクチャコンポーネントとして再構築を導入するドキュメント処理パイプラインである。
専用再構成器は、抽出した表現を元の文書領域に匹敵する形式に戻す。
忠実度がエンタリティ型閾値以下になると、構造化されたGPT-4.1ビジョンフォールバックがトリガーされ、検証ループが繰り返される。
論文 参考訳（メタデータ） (2026-04-26T10:26:42Z) - JointCQ: Improving Factual Hallucination Detection with Joint Claim and Query Generation [40.64428172310572]
現在の大きな言語モデル(LLM)は、しばしば幻覚(幻覚)の問題に悩まされる。
本研究では,効率的なクレーム・クエリ・ジェネレータの構築を目的とした共同クレーム・アンド・クエリ生成フレームワークであるJointCQを紹介する。
提案フレームワークは、精巧に設計された評価基準を利用して、合成トレーニングデータをフィルタリングし、共同クレーム抽出とクエリ生成のための言語モデルを微調整する。
論文 参考訳（メタデータ） (2025-10-22T07:15:37Z) - FaStfact: Faster, Stronger Long-Form Factuality Evaluations in LLMs [34.87719459551127]
textbfFaStfactは評価フレームワークであり、人間の評価と時間/時間効率を最大限に調整する。
FaStfactはまず、信頼に基づく事前検証と統合されたチャンクレベルのクレーム抽出を採用する。
検索と検証のために、クロールされたWebページから文書レベルの証拠を収集し、検証中に選択的に検索する。
論文 参考訳（メタデータ） (2025-10-13T19:00:15Z) - Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。
QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
論文 参考訳（メタデータ） (2024-10-09T22:53:48Z) - A Chain-of-Thought Is as Strong as Its Weakest Link: A Benchmark for Verifiers of Reasoning Chains [33.46649770312231]
ステップバイステップの回答を提供するために言語モデルを実証することは、複雑な推論タスクにおいて顕著なアプローチである。
このような検証方法の徹底的な評価を可能にするための、きめ細かいステップレベルのデータセットは提供されていない。
ReVEAL: Reasoning Verification Evaluationは複雑なチェーン・オブ・ソート推論の自動検証をベンチマークするデータセットである。
論文 参考訳（メタデータ） (2024-02-01T12:46:45Z) - Factual Error Correction for Abstractive Summaries Using Entity
Retrieval [57.01193722520597]
本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。
RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。
次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
論文 参考訳（メタデータ） (2022-04-18T11:35:02Z) - Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。
統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。
包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
論文 参考訳（メタデータ） (2021-07-25T13:18:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。