論文の概要: Examining the Metrics for Document-Level Claim Extraction in Czech and Slovak

• arxiv url: http://arxiv.org/abs/2511.14566v1
• Date: Tue, 18 Nov 2025 15:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.172947
• Title: Examining the Metrics for Document-Level Claim Extraction in Czech and Slovak
• Title（参考訳）: チェコ・スロバキアにおける文書レベル宣言抽出基準の検討
• Authors: Lucia Makaiová, Martin Fajčík, Antonín Jarolím,
• Abstract要約: 文書レベルのクレーム抽出は、ファクトチェックの分野で依然としてオープンな課題である。 クレーム集合間の最適なアライメントと評価手法を同定する手法について検討する。 チェコ語とスロバキア語のニュース記事ドメインによるコメントから抽出した,新たに収集したデータセット検索実験を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document-level claim extraction remains an open challenge in the field of fact-checking, and subsequently, methods for evaluating extracted claims have received limited attention. In this work, we explore approaches to aligning two sets of claims pertaining to the same source document and computing their similarity through an alignment score. We investigate techniques to identify the best possible alignment and evaluation method between claim sets, with the aim of providing a reliable evaluation framework. Our approach enables comparison between model-extracted and human-annotated claim sets, serving as a metric for assessing the extraction performance of models and also as a possible measure of inter-annotator agreement. We conduct experiments on newly collected dataset-claims extracted from comments under Czech and Slovak news articles-domains that pose additional challenges due to the informal language, strong local context, and subtleties of these closely related languages. The results draw attention to the limitations of current evaluation approaches when applied to document-level claim extraction and highlight the need for more advanced methods-ones able to correctly capture semantic similarity and evaluate essential claim properties such as atomicity, checkworthiness, and decontextualization.
• Abstract（参考訳）: 事実確認の分野では,文書レベルのクレーム抽出は依然としてオープンな課題であり,その後,クレームの抽出方法に注目が集まっている。 本研究では,同一の資料に関連する2つのクレームの整合性について検討し,アライメントスコアを用いてそれらの類似性を計算する。 本稿では,信頼度の高い評価フレームワークの提供を目的として,クレームセット間のアライメントと評価の最善の方法を特定する手法について検討する。 提案手法は,モデルの抽出性能を評価する指標として,およびアノテータ間合意の可能な指標として,モデル抽出と人間アノテーション付きクレームセットの比較を可能にする。 チェコ語およびスロバキア語ニュース記事ドメインのコメントから抽出された新たに収集されたデータセット検索実験を行い、非公式な言語、強いローカルコンテキスト、これら近縁な言語に対する微妙さによるさらなる課題を提起する。 その結果、文書レベルのクレーム抽出に適用した場合の現在の評価手法の限界に注意を向け、セマンティックな類似性を正しく把握し、アトミック性、チェックハーネス性、非コンテクスト化といった本質的なクレーム特性を評価できる方法の必要性を強調した。

関連論文リスト

• Towards Effective Extraction and Evaluation of Factual Claims [1.8262547855491458]
  LLM(Large Language Models)が生成する長文コンテンツを事実チェックするための一般的な戦略は、独立して検証可能な単純なクレームを抽出することである。 本稿では,ファクトチェックの文脈におけるクレーム抽出と,このフレームワークを適用するための自動化された,スケーラブルで,かつレプリケート可能な手法を提案する。 また, LLMに基づくクレーム抽出手法であるCrimifyを導入し, 評価フレームワークにおける既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-15T16:58:05Z)
• Beyond Exact Match: Semantically Reassessing Event Extraction by Large Language Models [65.8478860180793]
  イベント抽出は広範囲の応用により、広範囲の研究が注目されている。 イベント抽出の現在の評価法はトークンレベルの正確な一致に依存している。 イベント抽出のための信頼性とセマンティックな評価フレームワークであるRAEEを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:54:01Z)
• Document-level Claim Extraction and Decontextualisation for Fact-Checking [11.994189446360433]
  ファクトチェックのための文書レベルのクレーム抽出手法を提案する。 文書から中心文を識別するために,まずクレーム抽出を抽出要約として再放送する。 次に、文の非コンテクスト化を通じて、原文から必要なコンテキストを含むように書き直します。
  論文  参考訳（メタデータ） (2024-06-05T13:16:46Z)
• Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion [78.76867266561537]
  評価プロセスは、予測された真理のカテゴリと基底的真理のカテゴリの類似性を考慮せずに、クローズドセットのメトリクスに大きく依存している。 この問題に対処するため、まず2つのカテゴリー語間の11の類似度の測定を行った。 我々は,3つのオープン語彙セグメンテーションタスクに適した,オープンmIoU,オープンAP,オープンPQという新しい評価指標を設計した。
  論文  参考訳（メタデータ） (2023-11-06T18:59:01Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• SueNes: A Weakly Supervised Approach to Evaluating Single-Document Summarization via Negative Sampling [25.299937353444854]
  本研究は,参照要約の存在を伴わない,弱教師付き要約評価手法に対する概念実証研究である。 既存の要約データセットの大量データは、文書と破損した参照要約とのペアリングによってトレーニングのために変換される。
  論文  参考訳（メタデータ） (2020-05-13T15:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。