論文の概要: Beyond Verdicts: A Graph-Based Analysis of Human and LLM Reasoning in Scientific Fact-Checking

• arxiv url: http://arxiv.org/abs/2608.23047v1
• Date: Mon, 24 Aug 2026 09:53:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.016669
• Title: Beyond Verdicts: A Graph-Based Analysis of Human and LLM Reasoning in Scientific Fact-Checking
• Title（参考訳）: Beyond Verdicts: 科学的ファクトチェッキングにおける人間とLLM推論のグラフベース分析
• Abstract要約: 科学的な事実チェックにおいて,人間とLLMの推論パスを比較するためのグラフベースのフレームワークを提案する。 人為的でないLSM経路に対しては, 引用された研究の根拠, 主張の妥当性, 判断に対する疑似習熟度を検証した。 Qwen3-32Bは最小の判定失敗率、GPT-5は最高の人間のアライメント、Claude Opus 4.7は弱い判定予測であるが、成功に満ちたケースでは有効である。
• 参考スコア（独自算出の注目度）: 13.664000280311507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Misinformation that cites legitimate papers can be especially harmful when it distorts what those studies actually report. While existing automatic fact-checking systems based on large language models (LLMs) can assess whether a model assigns an Incorrect verdict and can gen- erate explanations for that decision, they typi- cally do not indicate whether the model follows the same reasoning path as human experts or arrives at the verdict through a different but still valid path. In this work, we introduce a graph- based framework (typed reasoning graph) for comparing human and LLM reasoning paths in scientific fact-checking. Building on prior work on fallacious reasoning in biomedical misinformation, MISSCIPLUS (Glockner et al., 2025), we model each explanation as a rea- soning graph that links the false claim to the relevant study context, study findings, fallacy- supporting premises, and fallacy labels. This representation enables one-to-one alignment of human and LLM reasoning at the level of fallacy-specific sub-graphs. For non-human- aligned LLM paths, we validate grounding in the cited study, relevance to the claim, and suf- ficiency for the verdict. Using 84 false claims from MISSCIPLUS, we evaluate GPT-5, Claude Opus 4.7, and Qwen3-32B across prompt and evidence settings. Results show distinct perfor- mance dimensions: Qwen3-32B has the lowest verdict failure rate, GPT-5 the highest human alignment, and Claude Opus 4.7 weak verdict prediction but often valid reasoning in success- ful cases
• Abstract（参考訳）: 合法的な論文を引用する誤報は、これらの研究が実際に報告したものを歪めてしまうと、特に有害になる可能性がある。 既存の大規模言語モデル(LLM)に基づくファクトチェックシステムでは、モデルが不正な評定を割り当てたかどうかを判断でき、その決定に対してゲンレートで説明できるが、タイプミスは、モデルが人間の専門家と同じ推論経路をたどるかどうか、あるいは、異なるが有効な経路で評定に到達するかどうかを示すものではない。 本研究では,科学的事実チェックにおいて,人間とLLMの推論パスを比較するためのグラフベースのフレームワーク(型推論グラフ)を提案する。 MISSCIPLUS (Glockner et al , 2025) は, バイオメディカル誤情報における誤用推論に関する先行研究に基づいて, それぞれの説明を, 疑わしい主張と関連する研究状況, 研究結果, 誤用支援施設, 誤用ラベルを関連づけたrea- soning graphとしてモデル化した。 この表現は、人間とLLMの1対1のアライメントを、誤認特異的なサブグラフのレベルで推論することを可能にする。 人為的でないLSM経路に対しては, 引用された研究の根拠, 主張の妥当性, 判断に対する疑似習熟度を検証した。 MISSCIPLUSの84件の虚偽クレームを用いて, GPT-5, Claude Opus 4.7, Qwen3-32Bをプロンプトおよびエビデンス設定で評価した。 Qwen3-32Bは最小判定失敗率、GPT-5は最高ヒトアライメント、Claude Opus 4.7は弱いが、成功率の高いケースでは有効である。

関連論文リスト

• Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies [51.39569894108518]
  大規模言語モデル(LLM)は強力な意味的能力を示すが、論理的誤認のような操作型言語パターンに対する弾力性は未解明のままである。 本稿では,LLMのロバスト性を評価するためのベンチマークであるLoFa(Logical Fallacy)を紹介する。 また、誤攻撃に対する抵抗を定量化する指標であるk(LFR@k)の論理的誤り抵抗についても提案する。
  論文  参考訳（メタデータ） (2026-06-30T02:17:45Z)
• Causal Scaffolding for Physical Reasoning: A Benchmark for Causally-Informed Physical World Understanding in VLMs [49.55219052565761]
  CausalPhysは、知覚、予測、介入、目標指向という4つの領域にまたがる、ビデオと画像に基づく3000以上の慎重にキュレートされた質問のベンチマークである。 各質問は、専門家がアノテートした因果グラフがオブジェクト・属性・イベントの依存関係をキャプチャし、因果理解の解釈可能かつきめ細かい評価を可能にする。 これに基づいて、モデルの連鎖推論が正しい因果関係とどの程度うまく一致しているかを定量的に測定する因果グラフ基底計量を定式化する。 本稿では,CRFT(Causal Rationale-informed Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T10:07:05Z)
• Abductive Reasoning with Syllogistic Forms in Large Language Models [4.33876606928699]
  アブダクション(Abduction)とは、主要な前提と結論から小さな前提を引き出すプロセスである。 本稿では,誘引的推論におけるLCMの精度について,シロメトリクスデータセットを誘引に適したデータに変換することによって検討する。 本研究の目的は、現在最先端のLCMが誘拐のバイアスを示すかどうかを調査し、改善の可能性のある領域を特定することである。
  論文  参考訳（メタデータ） (2026-03-06T16:06:25Z)
• Uncovering Hidden Correctness in LLM Causal Reasoning via Symbolic Verification [56.51953062869371]
  DoVerifier は、因果表現が与えられた因果グラフから導出可能であるかどうかをdo-calculus と probability theory の規則を用いてチェックする記号検証器である。 因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果
  論文  参考訳（メタデータ） (2026-01-29T03:22:58Z)
• Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning [0.0]
  我々は,言語モデルにおける論理的推論について,その誤りが確立された人間の誤りに追従するかどうかを問うことによって研究する。 各応答について,ETR予測誤り度と一致する場合の論理的推論と正当性を判定する。
  論文  参考訳（メタデータ） (2025-06-10T17:04:33Z)
• Do Large Language Models Reason Causally Like Us? Even Better? [7.749713014052951]
  大きな言語モデル(LLM)は、人間のようなテキストを生成する際、印象的な能力を示している。 我々は,コライダーグラフに基づくタスクを用いて,ヒトの因果推論と4つのLDMを比較した。
  論文  参考訳（メタデータ） (2025-02-14T15:09:15Z)
• Grounding Fallacies Misrepresenting Scientific Publications in Evidence [84.32990746227385]
  誤検出データセットMisciの拡張であるMisciPlusを紹介する。 MissciPlusは、実世界の誤った証拠と誤った主張を組み合わせ、証拠に基づく事実チェックモデルへの入力と同一である。 以上の結果から,現在の事実チェックモデルでは,誤報を否定するために,誤表現された科学パスを使用するのが困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-23T03:16:26Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• How susceptible are LLMs to Logical Fallacies? [5.723715910568911]
  論理的誤りに対する大規模言語モデルの堅牢性を評価するための診断ベンチマークであるLOGICOMを提案する。 本稿では,GPT-3.5とGPT-4の性能を評価するために,議論の的となっているトピックを含むデータセットを用いて評価を行う。 以上より, GPT-3.5 と GPT-4 は理屈によって意見の調整が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-08-18T23:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。