論文の概要: A Benchmark for Gap and Overlap Analysis as a Test of KG Task Readiness

• arxiv url: http://arxiv.org/abs/2604.10853v1
• Date: Sun, 12 Apr 2026 23:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.24833
• Title: A Benchmark for Gap and Overlap Analysis as a Test of KG Task Readiness
• Title（参考訳）: KGタスクの整合性テストとしてのギャップとオーバーラップ解析のベンチマーク
• Authors: Maruf Ahmed Mridul, Rohit Kapa, Oshani Seneviratne,
• Abstract要約: 本稿では,ポリシーライクな文書のギャップと重複分析に焦点をあてる。 結果として得られるギャップ/オーバーラップの決定は、データ欠落ではなく、カバレッジと制限の真の違いによって引き起こされる。 本稿では,自然言語の契約文と公式なオントロジーとエビデンスにリンクされた真実を一致させる,実行可能で監査可能なベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 1.029029220360574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-oriented evaluation of knowledge graph (KG) quality increasingly asks whether an ontology-based representation can answer the competency questions that users actually care about, in a manner that is reproducible, explainable, and traceable to evidence. This paper adopts that perspective and focuses on gap and overlap analysis for policy-like documents (e.g., insurance contracts), where given a scenario, which documents support it (overlap) and which do not (gap), with defensible justifications. The resulting gap/overlap determinations are typically driven by genuine differences in coverage and restrictions rather than missing data, making the task a direct test of KG task readiness rather than a test of missing facts or query expressiveness. We present an executable and auditable benchmark that aligns natural-language contract text with a formal ontology and evidence-linked ground truth, enabling systematic comparison of methods. The benchmark includes: (i) ten simplified yet diverse life-insurance contracts reviewed by a domain expert, (ii) a domain ontology (TBox) with an instantiated knowledge base (ABox) populated from contract facts, and (iii) 58 structured scenarios paired with SPARQL queries with contract-level outcomes and clause-level excerpts that justify each label. Using this resource, we compare a text-only LLM baseline that infers outcomes directly from contract text against an ontology-driven pipeline that answers the same scenarios over the instantiated KG, demonstrating that explicit modeling improves consistency and diagnosis for gap/overlap analyses. Although demonstrated for gap and overlap analysis, the benchmark is intended as a reusable template for evaluating KG quality and supporting downstream work such as ontology learning, KG population, and evidence-grounded question answering.
• Abstract（参考訳）: タスク指向の知識グラフ(KG)の品質評価は、オントロジーに基づく表現が、ユーザが実際に関心を持っている能力的な疑問に、再現可能で説明可能で、証拠に追跡可能な形で答えられるかどうかを、ますます疑問視する。 本稿では、その視点を取り入れ、政策的な文書(保険契約など)のギャップと重複の分析に焦点をあてる。 結果として生じるギャップ/オーバーラップの決定は、典型的には、欠落データではなく、カバレッジと制限の真の違いによって引き起こされる。 本稿では,自然言語の契約文を形式的オントロジーとエビデンスに結びついた真実に整合させ,手法の体系的比較を可能にする,実行可能で監査可能なベンチマークを提案する。 ベンチマークには以下のものがある。 一 ドメインの専門家が審査した簡易かつ多様な生命保険契約十件 二 契約事実から生ずるインスタンス化された知識ベース(ABox)を有するドメインオントロジー(TBox) (iii) 58の構造化シナリオとSPARQLクエリを組み合わせ、コントラクトレベルの結果と各ラベルを正当化する節レベルの抜粋。 このリソースを用いて、契約書から直接結果を推測するテキストのみのLCMベースラインと、インスタンス化されたKG上で同じシナリオに答えるオントロジー駆動パイプラインを比較し、明示的なモデリングがギャップ/オーバーラップ分析の一貫性と診断を改善することを実証する。 差分分析と重なり分析が実証されているが、このベンチマークはKGの品質を評価し、オントロジー学習、KG集団、エビデンスに基づく質問応答などの下流作業を支援する再利用可能なテンプレートとして意図されている。

関連論文リスト

• ContextClaim: A Context-Driven Paradigm for Verifiable Claim Detection [17.165016272480262]
  検証可能なクレーム検出は、クレームが、原則として外部の証拠に対して評価できる事実的なステートメントを表現できるかどうかを問う。 本研究では,コンテキスト駆動クレーム検出(Context-Driven Claim Detection,ContextClaim)を提案する。 我々は、さまざまなトピックとテキストジャンルをカバーする2つのデータセット、2022年のTwitterデータセット、PoliClaimの政治討論データセットについてContextClaimを評価した。
  論文  参考訳（メタデータ） (2026-03-31T17:20:46Z)
• KG-CRAFT: Knowledge Graph-based Contrastive Reasoning with LLMs for Enhancing Automated Fact-checking [3.7841869476488044]
  KG-CRAFTは,大規模言語モデル(LLM)を活用することにより,自動クレーム検証を改善する方法である まず、クレームと関連するレポートから知識グラフを構築し、その後、知識グラフ構造に基づいて文脈的に関連するコントラスト的な質問を定式化する。 2つの実世界のデータセットに対する広範囲な評価は,本手法が予測性能の新たな最先端を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-27T10:32:42Z)
• SocraticKG: Knowledge Graph Construction via QA-Driven Fact Extraction [4.867319754310031]
  構造化中間表現として質問応答対を導入する自動KG構築法を提案する。 SocraticKGは、直接KG抽出パイプラインで通常失われるコンテキスト依存と暗黙のリレーショナルリンクをキャプチャする。
  論文  参考訳（メタデータ） (2026-01-15T02:26:51Z)
• Structured Decomposition for LLM Reasoning: Cross-Domain Validation and Semantic Web Integration [0.0]
  ルールベースの推論は、決定が監査可能で正当化可能な領域で発生します。 このような入力にルールを適用するには、解釈の柔軟性と形式的な保証の両方が必要である。 本稿では,これらの強みを組み合わせた統合パターンを提案する。
  論文  参考訳（メタデータ） (2026-01-04T17:19:20Z)
• Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation [57.97548022208733]
  キー値抽出における表面的選択が精度と安定性のシフトを引き起こすことを示す。 生成前の文脈表現を適応的に標準化する戦略であるコンテキスト正規化を導入する。
  論文  参考訳（メタデータ） (2025-10-15T06:28:25Z)
• In-Context Learning for Pure Exploration [28.404325855738502]
  本研究は, 純粋探索(Pure Exploring)としても知られる, 能動的逐次仮説検定の課題について考察する。 In-Context Pure Exploration (ICPE)を導入し、トランスフォーマーをメタトレーニングして、観測履歴をクエリアクションと予測仮説にマッピングする。 ICPEは、新しいタスクの証拠を積極的に収集し、パラメータの更新なしに真の仮説を推測する。
  論文  参考訳（メタデータ） (2025-06-02T17:04:50Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• PropSegmEnt: A Large-Scale Corpus for Proposition-Level Segmentation and Entailment Recognition [63.51569687229681]
  文中の各命題の文的含意関係を個別に認識する必要性について論じる。 提案するPropSegmEntは45K以上の提案のコーパスであり, 専門家によるアノテートを行う。 我々のデータセット構造は、(1)文書内の文章を命題の集合に分割し、(2)異なるが、トポジカルに整合した文書に対して、各命題の含意関係を分類するタスクに類似している。
  論文  参考訳（メタデータ） (2022-12-21T04:03:33Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。