論文の概要: DnDScore: Decontextualization and Decomposition for Factuality Verification in Long-Form Text Generation
- arxiv url: http://arxiv.org/abs/2412.13175v1
- Date: Tue, 17 Dec 2024 18:54:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:59:19.785728
- Title: DnDScore: Decontextualization and Decomposition for Factuality Verification in Long-Form Text Generation
- Title（参考訳）: DnDScore:長期テキスト生成におけるファクチュアリティ検証のためのデコンテクスト化と分解
- Authors: Miriam Wanner, Benjamin Van Durme, Mark Dredze,
- Abstract要約: 分解と非文脈化は独立に研究されているが、完全なシステムにおける相互作用は研究されていない。
我々は、異なる分解、非文脈化、検証戦略の評価を行い、戦略の選択が結果の事実性スコアに重要であることを確認する。
DnDScoreは文脈情報の文脈におけるサブ文の検証を行う非コンテクスト化対応検証手法である。
- 参考スコア（独自算出の注目度）: 48.134780006638984
- License:
- Abstract: The decompose-then-verify strategy for verification of Large Language Model (LLM) generations decomposes claims that are then independently verified. Decontextualization augments text (claims) to ensure it can be verified outside of the original context, enabling reliable verification. While decomposition and decontextualization have been explored independently, their interactions in a complete system have not been investigated. Their conflicting purposes can create tensions: decomposition isolates atomic facts while decontextualization inserts relevant information. Furthermore, a decontextualized subclaim presents a challenge to the verification step: what part of the augmented text should be verified as it now contains multiple atomic facts? We conduct an evaluation of different decomposition, decontextualization, and verification strategies and find that the choice of strategy matters in the resulting factuality scores. Additionally, we introduce DnDScore, a decontextualization aware verification method which validates subclaims in the context of contextual information.
- Abstract（参考訳）: LLM(Large Language Model)世代検証のための分解検証戦略は、独立して検証されたクレームを分解する。
Decontextualization はテキストを拡張して、元のコンテキストの外で検証できるようにし、信頼性の高い検証を可能にする。
分解と非文脈化は独立に研究されているが、完全なシステムにおけるそれらの相互作用は研究されていない。
分解は原子的な事実を分離し、非文脈化は関連する情報を挿入する。
さらに、非テキスト化されたサブ文は、検証ステップに挑戦する: 拡張されたテキストのどの部分が、現在複数の原子的事実を含んでいるか検証されるべきなのか?
我々は、異なる分解、非文脈化、検証戦略の評価を行い、戦略の選択が結果の事実性スコアに重要であることを確認する。
さらに,文脈情報の文脈におけるサブ文の検証を行う非コンテクスト化認識検証手法であるDnDScoreを導入する。
関連論文リスト
- Towards Effective Extraction and Evaluation of Factual Claims [1.8262547855491458]
LLM(Large Language Models)が生成する長文コンテンツを事実チェックするための一般的な戦略は、独立して検証可能な単純なクレームを抽出することである。
本稿では,ファクトチェックの文脈におけるクレーム抽出と,このフレームワークを適用するための自動化された,スケーラブルで,かつレプリケート可能な手法を提案する。
また, LLMに基づくクレーム抽出手法であるCrimifyを導入し, 評価フレームワークにおける既存手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-02-15T16:58:05Z) - FactLens: Benchmarking Fine-Grained Fact Verification [6.814173254027381]
我々は、複雑なクレームを個別の検証のためにより小さなサブステートに分割する、きめ細かい検証へのシフトを提唱する。
我々は,ファクトレンス(FactLens)という,ファクトレンス(FactLens)という,詳細な事実検証のベンチマークを紹介した。
この結果から,FactLens自動評価器と人的判断との整合性を示し,評価性能に対する準定値特性の影響について考察した。
論文 参考訳（メタデータ） (2024-11-08T21:26:57Z) - FarFetched: Entity-centric Reasoning and Claim Validation for the Greek Language based on Textually Represented Environments [0.3874856507026475]
複数のオンラインニュースソースから得られた集合的証拠に基づいて,自動クレーム検証の必要性に対処する。
イベント、アクション、ステートメント間の遅延接続を明らかにするエンティティ中心の推論フレームワークを導入します。
提案手法は,低リソース言語に対する自動クレーム検証のギャップを埋めようとしている。
論文 参考訳（メタデータ） (2024-07-13T13:30:20Z) - FIZZ: Factual Inconsistency Detection by Zoom-in Summary and Zoom-out Document [6.726343173201447]
そこで本研究では,Zoom-in概要とZoom-out文書による現実的不整合検出の高精度かつ解釈可能な手法を提案する。
我々は、アダプティブ展開を通じて、要約から得られた原子事実とソース文書とを一致させる。
実験結果から,提案手法が既存システムより有意に優れていることが示された。
論文 参考訳（メタデータ） (2024-04-17T09:01:02Z) - Enhancing Argument Structure Extraction with Efficient Leverage of
Contextual Information [79.06082391992545]
本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。
文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。
各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2023-10-08T08:47:10Z) - Factually Consistent Summarization via Reinforcement Learning with
Textual Entailment Feedback [57.816210168909286]
我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。
我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。
自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
論文 参考訳（メタデータ） (2023-05-31T21:04:04Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳（メタデータ） (2023-05-25T15:01:19Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳（メタデータ） (2023-03-02T17:45:32Z) - Generating Fact Checking Summaries for Web Claims [8.980876474818153]
本稿では,テキスト文書の形での証拠に基づくテキストクレームの正当性を確立するために,ニューラルアテンションに基づくアプローチを提案する。
政治・医療・環境問題に関するデータセットに対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2020-10-16T18:10:47Z) - Evaluating Factuality in Generation with Dependency-level Entailment [57.5316011554622]
本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。
このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
論文 参考訳（メタデータ） (2020-10-12T06:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。