論文の概要: How Robust Are Automated Fact-Checking Systems? A Cross-Benchmark Evaluation

• arxiv url: http://arxiv.org/abs/2608.25934v1
• Date: Wed, 26 Aug 2026 15:50:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.892078
• Title: How Robust Are Automated Fact-Checking Systems? A Cross-Benchmark Evaluation
• Title（参考訳）: ロバストはどのようにしてファクトチェッキングシステムを自動化するのか? クロスベンチマークによる評価
• Abstract要約: さまざまなデータセットにまたがって、完全な2段階の検索検証パイプラインを横断的に評価します。 ランダムなベースラインやスパースなベースラインから、微調整されたトランスフォーマーまで、9つのモデルをベンチマークします。
• 参考スコア（独自算出の注目度）: 9.253244973042655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated fact-checking (AFC) systems retrieve evidence and predict claim veracity, yet evaluations omit simple baselines, systems are developed for a single benchmark and cannot be trusted to generalise across domains. No prior work cross-evaluates the full two-stage retrieve-then-verify pipeline across diverse datasets, complementing retrieval-only studies (Thakur et al., 2021) and single-stage benchmarking studies (Calamai et al., 2025). We benchmark nine models, ranging from random and sparse baselines to fine-tuned transformers, zero-shot LLMs, and the two highest-ranked systems from the AVeriTeC 2025 shared task, across four datasets spanning scientific, open-web, and climate domains. Three findings stand out: (1) on ClimateCheck claim-only and fine-tuned models outperform zero-shot LLM and top-performing AVeriTeC 2025 systems, highlighting that noisy evidence can degrade veracity prediction; (2) system rankings are strongly domain- and metric-dependent: the best model on SciFact (macro-F1 0.70) drops to 0.31 on ClimateCheck, while the AVeriTeC 2025 winner and runner-up swap rankings based on evaluation metrics and datasets; (3) replacing retrieved evidence with gold annotations improves veracity accuracy by 14-22 points across models, confirming retrieval remains primary bottleneck. We release code, pre-processed datasets, and all results to support reproducible AFC research.
• Abstract（参考訳）: 自動ファクトチェック(AFC)システムは証拠を検索し、クレームの正確性を予測するが、評価は単純なベースラインを省略し、システムは単一のベンチマークのために開発され、ドメイン間の一般化を信頼できない。 検索のみの研究(Thakur et al , 2021)とシングルステージのベンチマーク研究(Calamai et al , 2025)を補完する。 ランダムベースラインからスパーストランスフォーマー、ゼロショットLDM、AVeriTeC 2025の共有タスクから、科学的、オープンウェブ、気候領域にまたがる4つのデータセットの上位2つのシステムまで、9つのモデルをベンチマークした。 1)SciFact(macro-F1 0.70)の最良のモデルがClimateCheckで0.31に低下するのに対して、AVeriTeC 2025の勝者とランナースワップのランキングは評価基準とデータセットに基づいて、検索された証拠を金アノテーションで置き換えることで、モデル間で14～22ポイントの精度が向上し、検索が主要なボトルネックであることを確認した。 我々は、再現可能なAFC研究をサポートするために、コード、事前処理されたデータセット、およびすべての結果をリリースする。

関連論文リスト

• PCQA-R1: Advancing Generalized 3D Point Cloud Quality Assessment with Reinforcement Learning [51.75061005702151]
  ノンリファレンスポイントクラウド品質アセスメント(PCQA)は近年活発なトピックであり、ポイントクラウドの視覚的エクスペリエンスの測定と最適化に使用されている。 本稿では,3次元点雲質評価のための最初の強化学習LMMであるPCQA-R1について述べる。
  論文  参考訳（メタデータ） (2026-08-19T07:21:58Z)
• Vision-Language Models for Analog Gauge Reading: An Empirical Study of Specialization, Transfer and Reliability [3.112410411428948]
  本研究は,汎用視覚言語モデル(VLM)の特殊化,伝達,堅牢性,信頼性の体系的評価である。 Qwen2.5-VL-7B-インストラクトモデルは、ゼロショットプロンプト、インコンテキストラーニング(ICL)、および量子化低ランク適応(QLoRA)を用いたパラメータ効率の微調整を用いて評価される。 最高の微調整MPE値は、95%信頼区間(CI)が1.43-3.90%、圧力ゲージデータセットが2.61%、CIが1.66-3.80%、および4.4の合成データセットで2.39%である。
  論文  参考訳（メタデータ） (2026-08-18T12:47:14Z)
• EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents [64.96332056338923]
  EEVEEは、LLMエージェントのための最初のマルチデータセットテスト時プロンプト学習フレームワークである。 実世界のタスクストリーム下でテスト時のプロンプト学習を可能にする。 EEVEEはQwen3-4B-InstructとDeepSeek-V3.2で平均マルチベンチマークスコアを10.38点、24.32点改善している。
  論文  参考訳（メタデータ） (2026-06-09T17:57:16Z)
• What Matters for Grocery Product Retrieval with Open Source Vision Language Models [0.0]
  本稿では,GroceryVision Challenge の MPR タスクにおいて,190個のオープンソース VLM のゼロショット評価を行った。 生のWebスクレイプからフィルタリングデータセットへの切り替えは、最大16.6%の精度向上をもたらす。 最先端モデルは94.5%のRecall@5を達成するが、Recall@1では17.5%の低下を被り、対照的な埋め込みはクラスタカテゴリを効果的に活用するが、視覚的に類似したSKUをランク付けすることができないことが明らかになった。
  論文  参考訳（メタデータ） (2026-05-18T08:20:13Z)
• VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering [53.662676566188175]
  重要なボトルネックは、パブリックで大規模で高品質なビジュアル質問回答(SVQA)データセットの欠如にある。 本稿では、まず、図形関連テクストコンテキストとQAペアを生成する検証中心のGenerate-then-Verifyフレームワークを提案する。 このフレームワークをインスタンス化し、20の科学的ドメインと12のフィギュアタイプからなる20,351のQAペアのデータセットであるVeriSciQAをキュレートします。
  論文  参考訳（メタデータ） (2025-11-25T04:14:52Z)
• A Comprehensive Forecasting-Based Framework for Time Series Anomaly Detection: Benchmarking on the Numenta Anomaly Benchmark (NAB) [0.0]
  時系列異常検出は、現代のデジタルインフラにとって重要である。 本稿では,従来の手法をディープラーニングアーキテクチャと統合した予測ベースのフレームワークを提案する。 Numenta Anomaly Benchmark の最初の完全評価を行う。
  論文  参考訳（メタデータ） (2025-10-13T08:31:42Z)
• NAIPv2: Debiased Pairwise Learning for Efficient Paper Quality Estimation [58.30936615525824]
  本稿では,紙の品質評価のための非バイアスで効率的なフレームワークであるNAIPv2を提案する。 NAIPv2は、レビューアレーティングの不整合を低減するために、ドメイン年グループ内でペアワイズ学習を採用している。 これはペアワイズ比較に基づいてトレーニングされるが、デプロイ時に効率的なポイントワイズ予測を可能にする。
  論文  参考訳（メタデータ） (2025-09-29T17:59:23Z)
• Deepfake Detection that Generalizes Across Benchmarks [48.85953407706351]
  ディープフェイク検出器の非表示操作技術への一般化は、実用的展開の課題である。 この研究は、基礎となる事前学習された視覚エンコーダのパラメータ効率適応により、ロバストな一般化が達成可能であることを示す。 提案手法は、平均的クロスデータセットAUROCにおける、より複雑な、最新のアプローチよりも優れた、最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-08-08T12:03:56Z)
• LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
  静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
  論文  参考訳（メタデータ） (2025-08-07T14:46:30Z)
• HyperspectralViTs: General Hyperspectral Models for On-board Remote Sensing [21.192836739734435]
  機械学習モデルによるハイパースペクトルデータのオンボード処理は、幅広いタスクに対して前例のない量の自律性を可能にする。 これにより早期警戒システムが可能となり、衛星の星座にまたがる自動スケジューリングなどの新機能が実現される可能性がある。 本研究では,高スペクトル次元のデータを用いたエンドツーエンドの学習を支援する,高速かつ正確な機械学習アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-22T17:59:55Z)
• Fact Checking with Insufficient Evidence [52.879658637466605]
  本稿では,新しいタスクを導入し,それを3つの主要な貢献で進めることで,情報事実チェックモデルがいかに十分と考えるかを考察する。 異なるトランスフォーマーアーキテクチャを持つ3つのトレーニングモデルに基づいて, FC の残余の証拠を考慮した場合の同定を行う。 第2に、省略された証拠がFCにとって重要であるかどうかをアノテータに問うことにより、省略された証拠を持つFCに対して、新たな診断データセットであるSufficientFactsが生成される。
  論文  参考訳（メタデータ） (2022-04-05T06:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。