論文の概要: COMMUNITYNOTES: A Dataset for Exploring the Helpfulness of Fact-Checking Explanations

• arxiv url: http://arxiv.org/abs/2510.24810v1
• Date: Tue, 28 Oct 2025 05:28:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.587413
• Title: COMMUNITYNOTES: A Dataset for Exploring the Helpfulness of Fact-Checking Explanations
• Title（参考訳）: COMMUNITYNOTES:Fact-Checking Explanationsの有効性を探るデータセット
• Authors: Rui Xing, Preslav Nakov, Timothy Baldwin, Jey Han Lau,
• Abstract要約: ユーザが提供するノートと有用なラベルを用いた104kポストの大規模データセットを提示する。 本稿では,自動的なプロンプト最適化による理由定義の自動生成と改善を行うフレームワークを提案する。 実験の結果,最適化された定義は有用性と推論の両方を改善できることがわかった。
• 参考スコア（独自算出の注目度）: 89.37527535663433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fact-checking on major platforms, such as X, Meta, and TikTok, is shifting from expert-driven verification to a community-based setup, where users contribute explanatory notes to clarify why a post might be misleading. An important challenge here is determining whether an explanation is helpful for understanding real-world claims and the reasons why, which remains largely underexplored in prior research. In practice, most community notes remain unpublished due to slow community annotation, and the reasons for helpfulness lack clear definitions. To bridge these gaps, we introduce the task of predicting both the helpfulness of explanatory notes and the reason for this. We present COMMUNITYNOTES, a large-scale multilingual dataset of 104k posts with user-provided notes and helpfulness labels. We further propose a framework that automatically generates and improves reason definitions via automatic prompt optimization, and integrate them into prediction. Our experiments show that the optimized definitions can improve both helpfulness and reason prediction. Finally, we show that the helpfulness information are beneficial for existing fact-checking systems.
• Abstract（参考訳）: X、Meta、TikTokといった主要プラットフォームでのファクトチェックは、専門家主導による検証からコミュニティベースの設定へとシフトしている。 ここでの重要な課題は、説明が現実世界のクレームを理解するのに役立つかどうか、そしてその理由を判断することである。 実際には、ほとんどのコミュニティノートは、コミュニティアノテーションが遅いため未発表のままであり、役に立つ理由には明確な定義がない。 これらのギャップを埋めるために,説明的ノートの有用性とその理由の両方を予測するタスクを導入する。 提案するCOMMUNITYNOTESは,ユーザが提供するノートと有用なラベルを備えた104kの投稿からなる大規模多言語データセットである。 さらに,自動プロンプト最適化による理由定義の自動生成と改善を行うフレームワークを提案し,それらを予測に統合する。 実験の結果,最適化された定義は有用性と推論の両方を改善できることがわかった。 最後に,既存のファクトチェックシステムに有用であることを示す。

関連論文リスト

• GRainsaCK: a Comprehensive Software Library for Benchmarking Explanations of Link Prediction Tasks on Knowledge Graphs [0.0]
  予測事実を説明する支援知識を同定することにより,この課題に対処する。 我々は,GRainsaCKを提案する。GRainsaCKは再利用可能なソフトウェアリソースであり,ベンチマーク記述に関わるすべてのタスクを完全に合理化する。 GRainsaCKは、簡単に置き換えられる関数としてメインコンポーネントを実装することで、モジュラリティ/拡張性を強化している。
  論文  参考訳（メタデータ） (2025-08-12T10:15:58Z)
• FIRE: Faithful Interpretable Recommendation Explanations [2.6499018693213316]
  推薦システムにおける自然言語の説明は、しばしばレビュー生成タスクとしてフレーム化される。 FireはSHAPベースの特徴属性と構造化されたプロンプト駆動言語生成を組み合わせた軽量で解釈可能なフレームワークである。 この結果から,FIREは競争推奨精度を達成するだけでなく,アライメント,構造,忠実度といった重要な次元に沿った説明品質を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-08-07T10:11:02Z)
• ClaimVer: Explainable Claim-Level Verification and Evidence Attribution of Text Through Knowledge Graphs [13.608282497568108]
  ClaimVerは、ユーザの情報と検証のニーズを満たすように設計された、人間中心のフレームワークである。 各クレームをハイライトし、信頼された知識グラフに対して検証し、クレームの予測に対して簡潔で明確な説明を提供する。
  論文  参考訳（メタデータ） (2024-03-12T17:07:53Z)
• ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness [67.49087159888298]
  ReCEvalは2つの重要な特性(正確性と情報性)を通じて推論チェーンを評価するフレームワークである。 本稿では、ReCEvalが様々なエラータイプを効果的に識別し、従来の手法と比較して顕著な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-04-21T02:19:06Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Generating Fluent Fact Checking Explanations with Unsupervised Post-Editing [22.5444107755288]
  本稿では,句レベルの編集のみを用いて,支配コメントの教師なし後編集を行う反復編集アルゴリズムを提案する。 本モデルでは, 流動性, 可読性, 非冗長性, 事実チェックのための重要な情報をカバーする説明文を生成する。
  論文  参考訳（メタデータ） (2021-12-13T15:31:07Z)
• Human Evaluation of Spoken vs. Visual Explanations for Open-Domain QA [22.76153284711981]
  本研究は,ODQAシステムの回答をいつ受理するか,拒否するかをユーザが正確に判断するのに役立つかを検討する。 その結果,得られたエビデンスパスから得られた説明は,モダリティ間で強いベースライン(校正信頼度)を上回る可能性が示唆された。 我々は,現在の説明に共通する障害事例を示し,説明のエンドツーエンド評価を強調し,デプロイと異なるプロキシモダリティで評価することを警告する。
  論文  参考訳（メタデータ） (2020-12-30T08:19:02Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。