論文の概要: Rethinking the Evaluation of LLM Fact-Checkers

• arxiv url: http://arxiv.org/abs/2610.30504v1
• Date: Wed, 21 Oct 2026 22:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.169772
• Title: Rethinking the Evaluation of LLM Fact-Checkers
• Title（参考訳）: LLM Fact-Checker の評価再考
• Abstract要約: 大規模言語モデル(LLM)は、事実問題に答えるために広く使われている。 彼らの答えは誤りを含むことができ、クレームによる事実確認のクレームでなければならない。 しかし、結果のスコアは、どのクレームが答えるか、どのクレームが判断されたか、どのソースが証拠として数えられるかという3つの設計判断に依存する。 JSFactCheckBenchは3つすべてを指定する日本のベンチマークである。
• 参考スコア（独自算出の注目度）: 16.069435244662774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are widely used to answer factual questions, but their answers can contain errors and must be fact-checked claim by claim. Yet the resulting score depends on three design decisions: which questions the claims answer, under what conditions each claim is judged, and which sources count as evidence. No existing benchmark specifies all three. We introduce JSFactCheckBench, a Japanese benchmark that specifies all three, with 1,913 claims from LLM answers to questions about misleading information that circulated on Japanese social media, each annotated for factuality at a reference time and for importance to the question, using evidence from preselected Web sources. Across six LLMs, all verify claims directly answering the question less accurately than supplementary claims, a gap that aggregate scores obscure. Scores also drop when models must locate the relevant content in longer or multiple sources and, for all four open models, when the surrounding question and response are added. These weaknesses are visible only because the benchmark records the conditions behind each label. A benchmark that leaves them implicit cannot reveal them.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事実的疑問に答えるために広く使われているが、その答えは誤りを含むことができ、クレームによって事実チェックされる必要がある。 しかし、結果のスコアは、どのクレームが答えるか、どのクレームが判断されたか、どのソースが証拠として数えられるかという3つの設計判断に依存する。 既存のベンチマークでは、これら3つをすべて指定していない。 JSFactCheckBenchは3つすべてを指定する日本のベンチマークであり、LLMからの1,913件のクレームは、日本のソーシャルメディアに流布された誤解を招く情報に関する質問に対して答えている。 6つの LLM 全体で、全てのクレームは補足的クレームよりも正確ではなく、スコアが不明瞭であることを示す。 スコアはまた、関連するコンテンツをより長く複数のソースに配置する必要がある場合や、関連する質問と応答が加えられた場合の4つのオープンモデルすべてに対して低下する。 これらの弱点は、ベンチマークがラベルの裏にある条件を記録するためにのみ見える。 それらを暗黙的に残すベンチマークでは、それらを明らかにすることはできない。

関連論文リスト

• When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain [73.2163413577971]
  そこで本研究では,回答よりも質問するタイミングと,不明瞭な情報を回復する質問を行う方法という,2つのスキルを教えるレシピを提案する。 不斉あいまいさボーナスは、金のあいまいさラベルに基づいて署名された報酬を端末トークンに割り当て、いつ尋ねるかを案内する。 また、データ単位のチューニングなしでデータセット間で転送し、アウト・オブ・ディストリビューションのベンチマークでシングルターンのQAパフォーマンスを保存する。
  論文  参考訳（メタデータ） (2026-09-21T08:47:39Z)
• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• What do people want to fact-check? [10.451649710564775]
  事実を確認したいものがあれば、実際に何について尋ねられるのか、私たちは示しています。 オープンなAIファクトチェックシステムに、457人の参加者が提出したステートメントを分析します。 まず、ユーザーは幅広いトピックにまたがるが、デフォルトでは狭いエピステマティックなレパートリーになり、現在のオブザーバブルに関する単純な記述的クレームを圧倒的に提出する。 第2に、およそ4人に1人が、道徳的判断、投機的予測、主観的評価など、経験的に解決できない声明に関する。 第3に、FEVERベンチマークデータセットとの比較では、すべての5次元にわたる鋭い構造分岐が露呈し、標準評価コーパスが合成クレーム環境を符号化していることを示す。
  論文  参考訳（メタデータ） (2026-02-11T15:14:54Z)
• The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge [17.555073770285095]
  大規模言語モデル(LLM)は、要約、対話、創造的執筆といったタスクにおいてシステム出力を評価する自動判断器として、ますます多くデプロイされている。 提案手法では,現行のLLM審査員は,プロンプトに導入したショートカットに頼って,両方のカウントでフェールすることを示す。
  論文  参考訳（メタデータ） (2025-09-30T10:48:08Z)
• Lost in Time: A New Temporal Benchmark for VideoLLMs [48.71203934876828]
  現在最も使われているビデオ言語ベンチマークは、時間的推論を必要とせずに解決可能であることを示す。 提案するTVBenchは,オープンソースのマルチ選択質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T09:28:36Z)
• I Could've Asked That: Reformulating Unanswerable Questions [89.93173151422636]
  我々は、解決不可能な質問を改定するためのオープンソースおよびプロプライエタリなモデルを評価する。 GPT-4とLlama2-7Bは、それぞれ26%と12%しか質問を修正できなかった。 ベンチマークとコードを公開して実験を再現します。
  論文  参考訳（メタデータ） (2024-07-24T17:59:07Z)
• ClashEval: Quantifying the tug-of-war between an LLM's internal prior and external evidence [22.89240200094172]
  1200以上の質問のデータセット上で,上位6つの大規模言語モデル (LLM) をベンチマークした。 LLMは不正検索されたコンテンツの60%以上を利用できないことが判明した。 この発見を利用して、検索されたコンテンツに矛盾がある場合のモデル精度を向上させるための簡単な手法を実証する。
  論文  参考訳（メタデータ） (2024-04-16T00:43:03Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。