論文の概要: VEX-Bench: Benchmarking Verification Complexity of LLM-Generated Misinformation

• arxiv url: http://arxiv.org/abs/2609.35028v1
• Date: Mon, 28 Sep 2026 12:26:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:41:41.768436
• Title: VEX-Bench: Benchmarking Verification Complexity of LLM-Generated Misinformation
• Title（参考訳）: VEX-Bench: LLM生成誤報のベンチマーク検証複雑さ
• Abstract要約: 大規模言語モデル(LLM)は、偽情報を安価に生成するが、検証しないようにし、情報エコシステムにおける非対称性の増大を生んでいる。 そこで本研究では,LLM生成誤報の検証複雑性を評価するための統一ベンチマークを提案する。 VEXスコア(英: VEX score)は、生成したコンテンツが限定的な検証能力をどのように消費するかを定量化するために、エレケーションの収量と検証の複雑さを組み合わせた統合尺度である。
• 参考スコア（独自算出の注目度）: 34.709780088245346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have made misinformation inexpensive to produce but not to verify, creating a growing asymmetry in the information ecosystem. Under tight time, labor, and budget constraints, media organizations, platforms, and fact-checkers rely on screening to prioritize which content to verify. We introduce VEX-Bench, a unified benchmark for evaluating the verification complexity of LLM-generated misinformation, as perceived during screening, across models and generation methods. Verification complexity is assessed along multiple dimensions derived from journalistic and fact-checking practices, capturing checkability, harm potential, source credibility signals, imposter legitimacy, and expected verification effort. We define the VEX score as an integrated measure combining elicitation yield and verification complexity to quantify how generated content consumes limited verification capacity. We construct a benchmark spanning two misinformation categories, 6 high-stakes domains, and 60 real-world topics, and evaluate 7 frontier LLMs and 7 generation methods, yielding 5{,}880 articles. We employ an LLM-as-judge for scalable evaluation and validate it using content-analysis methodology, including ordinal Krippendorff $α$ for inter-annotator reliability, complemented by fact-checking agents for verification. Our findings show that no single method dominates all dimensions, underscoring the need for multi-dimensional evaluation. LLMs can generate high-VEX misinformation at 3$\times$ to 169$\times$ lower cost than agent-based verification. Such content is often prioritized during screening, consuming scarce verification resources and introducing a systematic risk of misallocation in resource-constrained verification systems. The code is publicly available in our \href{https://github.com/HanxunH/VEX-Bench}{GitHub repository}.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、偽情報を安価に生成するが、検証しないようにし、情報エコシステムにおける非対称性の増大を生んでいる。 厳しい時間、労働、予算の制約の下で、メディア組織、プラットフォーム、ファクトチェッカーは、どのコンテンツを検証するかの優先順位付けにスクリーニングに依存する。 VEX-Benchは,LLMが生成する誤情報の検証の複雑さを,モデルおよび生成手法間で評価する統合ベンチマークである。 検証の複雑さは、ジャーナリストやファクトチェックのプラクティスから派生した複数の次元に沿って評価され、チェック容易性、有害な可能性、情報源の信頼性信号、不確実な正当性、期待される検証努力によって評価される。 我々は、VEXスコアを、抽出収率と検証複雑性を組み合わせた統合尺度として定義し、生成したコンテンツが限定的な検証能力を消費するかを定量化する。 我々は,2つの誤情報カテゴリ,6つのハイテイクドメイン,60個の実世界のトピックにまたがるベンチマークを構築し,5{,}880の記事を出力する7つのフロンティアLCMと7つの生成手法を評価した。 我々は、スケーラブルな評価のためにLLM-as-judgeを使用し、検証のためのファクトチェックエージェントによって補完されたアノテーション間信頼性のための順序付きKrippendorff $α$を含むコンテンツ分析手法を用いて検証する。 以上の結果から,1つの手法がすべての次元を支配することはなく,多次元評価の必要性が強調された。 LLMはエージェントベースの検証よりも低コストで3$\times$から169$\times$3$\times$で高いVEX誤情報を生成することができる。 このような内容は、スクリーニングや希少な検証リソースの消費、リソース制約による検証システムにおける誤割り当ての体系的リスクの導入などにおいて優先されることが多い。 コードは当社の \href{https://github.com/HanxunH/VEX-Bench}{GitHub リポジトリで公開されています。

関連論文リスト

• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Generation of Programmatic Rules for Document Forgery Detection Using Large Language Models [10.32461766065764]
  文書偽造は、法律、経済、政府のプロセスに対する脅威が増大している。 既存の可否チェックは、ソフトウェアエンジニアによって手作業で実装される。 大規模言語モデル(LLM)によるコード生成の最近の進歩は、これらのチェックの自動生成とスケーリングの新たな可能性を提供する。
  論文  参考訳（メタデータ） (2025-12-22T10:08:25Z)
• BEAVER: An Efficient Deterministic LLM Verifier [11.949243456810263]
  本稿では,大規模言語モデルに基づく決定論的,健全な確率境界を計算するための最初の実践的フレームワークBEAVERを提案する。 検証問題を形式化し、アプローチの健全性を証明し、BEAVERを正当性検証、プライバシ検証、セキュアなコード生成タスクで評価する。
  論文  参考訳（メタデータ） (2025-12-05T05:34:06Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• OpenFactCheck: Building, Benchmarking Customized Fact-Checking Systems and Evaluating the Factuality of Claims and LLMs [59.836774258359945]
  OpenFactCheckは、カスタマイズされたファクトチェックシステムを構築するためのフレームワークである。 ユーザーは自動的にファクトチェッカーをカスタマイズし、文書やクレームの事実的正当性を検証できる。 CheckerEVALは、人間の注釈付きデータセットを使用して、自動ファクトチェッカーの検証結果の信頼性を高めるソリューションである。
  論文  参考訳（メタデータ） (2024-05-09T07:15:19Z)
• AlignBench: Benchmarking Chinese Alignment of Large Language Models [99.24597941555277]
  中国語大言語モデルのアライメントを評価するための総合ベンチマークであるAlignBenchを紹介する。 我々は,8つの主要なカテゴリ,683の実シナリオ根付きクエリ,およびそれに対応する人間の検証基準を含む,ループ内データキュレーションパイプラインを設計する。 自動評価には,Chain-of-Thoughtを用いた多次元LCM-as-Judgecitezheng2023アジュジング手法を用いて説明と最終評価を生成する。
  論文  参考訳（メタデータ） (2023-11-30T17:41:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。