論文の概要: MisSpans: Fine-Grained False Span Identification in Cross-Domain Fake News
- arxiv url: http://arxiv.org/abs/2601.04857v1
- Date: Thu, 08 Jan 2026 11:46:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 17:01:53.186667
- Title: MisSpans: Fine-Grained False Span Identification in Cross-Domain Fake News
- Title(参考訳): MisSpans: クロスドメインフェイクニュースにおける微粒偽スパン識別
- Authors: Zhiwei Liu, Paul Thompson, Jiaqi Rong, Baojie Qu, Runteng Guo, Min Peng, Qianqian Xie, Sophia Ananiadou,
- Abstract要約: MisSpansは、スパンレベルの誤情報検出と分析のためのベンチマークである。
実話と偽ニュースが混在している。
微粒なローカライゼーション、真/偽以上のニュアンス化された特徴化、そして実行可能な説明を可能にする。
- 参考スコア(独自算出の注目度): 30.038748916578978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online misinformation is increasingly pervasive, yet most existing benchmarks and methods evaluate veracity at the level of whole claims or paragraphs using coarse binary labels, obscuring how true and false details often co-exist within single sentences. These simplifications also limit interpretability: global explanations cannot identify which specific segments are misleading or differentiate how a detail is false (e.g., distorted vs. fabricated). To address these gaps, we introduce MisSpans, the first multi-domain, human-annotated benchmark for span-level misinformation detection and analysis, consisting of paired real and fake news stories. MisSpans defines three complementary tasks: MisSpansIdentity for pinpointing false spans within sentences, MisSpansType for categorising false spans by misinformation type, and MisSpansExplanation for providing rationales grounded in identified spans. Together, these tasks enable fine-grained localisation, nuanced characterisation beyond true/false and actionable explanations. Expert annotators were guided by standardised guidelines and consistency checks, leading to high inter-annotator agreement. We evaluate 15 representative LLMs, including reasoning-enhanced and non-reasoning variants, under zero-shot and one-shot settings. Results reveal the challenging nature of fine-grained misinformation identification and analysis, and highlight the need for a deeper understanding of how performance may be influenced by multiple interacting factors, including model size and reasoning capabilities, along with domain-specific textual features. This project will be available at https://github.com/lzw108/MisSpans.
- Abstract(参考訳): オンラインの誤報はますます広まりつつあるが、既存のベンチマークや手法のほとんどは、粗いバイナリラベルを使用して、主張や段落のレベルにおいて、真偽と偽の詳細が単一の文内でどのように共存するかを検証している。
グローバルな説明は、どの特定のセグメントが誤解を招くのかを特定できないし、どのように詳細が偽であるかを区別できない(例えば、歪んだ対偽造)。
これらのギャップに対処するため、私たちは、実ニュースと偽ニュースのペアからなる、スパンレベルの誤情報検出と分析のための、最初のマルチドメイン、人間による注釈付きベンチマークであるMisSpansを紹介した。
MisSpans Identity for pinpointing false spans within sentence, MisSpansType forcategorising false spans by misinformation type, MisSpansExplanation for providing rationals in identified spans。
これらのタスクは共に、微粒な局所化や、真偽や実行可能な説明以上のニュアンス化された特徴化を可能にする。
専門家アノテータは、標準化されたガイドラインと一貫性チェックによってガイドされ、アノテータ間の合意が高くなった。
我々は,ゼロショットとワンショット設定で推論および非推論を含む15の代表的なLCMを評価した。
結果は、きめ細かい誤情報識別と分析の難しさを明らかにし、モデルのサイズや推論能力、ドメイン固有のテキストの特徴など、複数の相互作用要因によってパフォーマンスがどのように影響されるか、より深く理解する必要があることを強調している。
このプロジェクトはhttps://github.com/lzw108/MisSpans.comで入手できる。
関連論文リスト
- Responsible AI in NLP: GUS-Net Span-Level Bias Detection Dataset and Benchmark for Generalizations, Unfairness, and Stereotypes [6.30817290125825]
本稿では、GUSデータセットとマルチラベルトークンレベル検出器を組み合わせたGUS-Net Frameworkを紹介し、社会バイアスのスパンレベル分析を行う。
GUSデータセットには、複数のドメインにまたがる3,739のユニークなスニペットが含まれ、69,000以上のトークンレベルのアノテーションが含まれている。
マルチラベルトークンレベルの分類としてバイアス検出を定式化し,エンコーダベースモデルとデコーダベース大規模言語モデルの両方をベンチマークする。
論文 参考訳(メタデータ) (2024-10-10T21:51:22Z) - Claim Check-Worthiness Detection: How Well do LLMs Grasp Annotation Guidelines? [0.0]
ファクトチェックを必要とするテキストセグメントを識別するために、ゼロショットと少数ショットのLCMプロンプトを使用する。
各種領域の5つのCD/CWデータセットに対して,LLMの予測精度と校正精度を評価した。
提案手法により, 最適急進的冗長性はドメイン依存であり, 文脈の追加は性能を向上しないことがわかった。
論文 参考訳(メタデータ) (2024-04-18T13:31:05Z) - FineFake: A Knowledge-Enriched Dataset for Fine-Grained Multi-Domain Fake News Detection [54.37159298632628]
FineFakeは、フェイクニュース検出のためのマルチドメイン知識強化ベンチマークである。
FineFakeは6つのセマンティックトピックと8つのプラットフォームにまたがる16,909のデータサンプルを含んでいる。
FineFakeプロジェクト全体がオープンソースリポジトリとして公開されている。
論文 参考訳(メタデータ) (2024-03-30T14:39:09Z) - Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains [60.5207173547769]
バイオメディカル・アーティクルや法定請求書を含む専門分野におけるゼロショット生成サマリーを評価した。
ドメインの専門家からアノテーションを取得し、要約の不整合を識別し、これらのエラーを体系的に分類する。
収集したすべてのアノテーションを公開し、ニュース記事を超えて、事実的に正確な要約を計測および実現するためのさらなる研究を促進する。
論文 参考訳(メタデータ) (2024-02-05T20:51:11Z) - How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。
このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。
具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
論文 参考訳(メタデータ) (2023-09-15T11:15:47Z) - Interpretable Automatic Fine-grained Inconsistency Detection in Text
Summarization [56.94741578760294]
本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。
要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
論文 参考訳(メタデータ) (2023-05-23T22:11:47Z) - Contextual information integration for stance detection via
cross-attention [59.662413798388485]
スタンス検出は、著者の目標に対する姿勢を特定することを扱う。
既存のスタンス検出モデルの多くは、関連するコンテキスト情報を考慮していないため、制限されている。
文脈情報をテキストとして統合する手法を提案する。
論文 参考訳(メタデータ) (2022-11-03T15:04:29Z) - Assessing Effectiveness of Using Internal Signals for Check-Worthy Claim
Identification in Unlabeled Data for Automated Fact-Checking [6.193231258199234]
本稿では,偽ニュース記事からチェック価値のあるクレーム文を特定する手法について検討する。
我々は2つの内部監督信号(見出しと抽象的な要約)を利用して文をランク付けする。
見出しは、ファクトチェックのWebサイトがクレームを記述する方法とよく似ているが、要約ベースのパイプラインは、エンドツーエンドのファクトチェックシステムにとって最も有望である。
論文 参考訳(メタデータ) (2021-11-02T16:17:20Z) - Dynamic Semantic Matching and Aggregation Network for Few-shot Intent
Detection [69.2370349274216]
利用可能な注釈付き発話が不足しているため、インテント検出は困難である。
セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。
本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
論文 参考訳(メタデータ) (2020-10-06T05:16:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。