論文の概要: Knowing When Not to Answer: Abstention-Aware Scientific Reasoning

• arxiv url: http://arxiv.org/abs/2602.14189v1
• Date: Sun, 15 Feb 2026 15:29:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.687929
• Title: Knowing When Not to Answer: Abstention-Aware Scientific Reasoning
• Title（参考訳）: 答えるべきでないことを知る: 科学的推論
• Abstract要約: 科学的条件下では、支持または不確実な結論は、棄権するよりも有害である。 本稿では,この問題に対して,留意点を考慮した検証フレームワークを用いて検討する。 我々はこのフレームワークをSciFactとPubMedQAの2つの科学的ベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 2.680633756465714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used to answer and verify scientific claims, yet existing evaluations typically assume that a model must always produce a definitive answer. In scientific settings, however, unsupported or uncertain conclusions can be more harmful than abstaining. We study this problem through an abstention-aware verification framework that decomposes scientific claims into minimal conditions, audits each condition against available evidence using natural language inference (NLI), and selectively decides whether to support, refute, or abstain. We evaluate this framework across two complementary scientific benchmarks: SciFact and PubMedQA, covering both closed-book and open-domain evidence settings. Experiments are conducted with six diverse language models, including encoder-decoder, open-weight chat models, and proprietary APIs. Across all benchmarks and models, we observe that raw accuracy varies only modestly across architectures, while abstention plays a critical role in controlling error. In particular, confidence-based abstention substantially reduces risk at moderate coverage levels, even when absolute accuracy improvements are limited. Our results suggest that in scientific reasoning tasks, the primary challenge is not selecting a single best model, but rather determining when available evidence is sufficient to justify an answer. This work highlights abstention-aware evaluation as a practical and model-agnostic lens for assessing scientific reliability, and provides a unified experimental basis for future work on selective reasoning in scientific domains. Code is available at https://github.com/sabdaljalil2000/ai4science .
• Abstract（参考訳）: 大規模な言語モデルは、科学的な主張に答え、検証するためにますます使われていますが、既存の評価では、モデルは常に決定的な答えを生成しなければならないと仮定しています。 しかし、科学的設定では、支持できない、あるいは不確実な結論は、棄権するよりも有害である可能性がある。 本研究では, 科学的主張を最小限の条件に分解し, 自然言語推論(NLI)を用いて各条件を検証し, 支持, 反感, 棄権の有無を選択的に判定する。 我々はこのフレームワークをSciFactとPubMedQAの2つの相補的な科学ベンチマークで評価し、クローズドブックとオープンドメインのエビデンス設定の両方をカバーする。 実験は、エンコーダデコーダ、オープンウェイトチャットモデル、プロプライエタリAPIを含む6つの多様な言語モデルで実施されている。 すべてのベンチマークやモデルにおいて、アーキテクチャ全体において生の精度はわずかにしか変化しないのに対し、禁忌はエラーを制御する上で重要な役割を担っている。 特に、信頼性に基づく禁忌は、絶対精度の改善が制限された場合でも、適度な範囲でのリスクを著しく低減する。 この結果から, 科学的推論タスクにおいては, 一つの最良のモデルを選択するのではなく, 解答を正当化するのに十分な証拠が得られているかどうかを判断することが主な課題であることが示唆された。 この研究は、科学的信頼性を評価するための実用的でモデルに依存しないレンズとして、禁忌意識の評価を強調し、科学領域における選択的推論に関する将来の研究に統一的な実験基盤を提供する。 コードはhttps://github.com/sabdaljalil2000/ai4scienceで公開されている。

関連論文リスト

• Though Language Models Err While They Strive: Conformal Prediction for Self-Correcting Scientific Generation [4.019632358747631]
  本稿では,グラフ構造型共形予測フレームワークであるSFCについて紹介する。 SFCは科学的推論を原子の絶対コヒーレント-事実単位に分解する。 我々は、PhyXマルチモーダル物理学、MATH、ScienceQA、ARC Challengeなど、確立された科学的推論ベンチマークでSFCを実証する。
  論文  参考訳（メタデータ） (2026-07-18T08:38:19Z)
• One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
  我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。 その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。 12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
  論文  参考訳（メタデータ） (2026-06-30T10:54:16Z)
• Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs [8.700507644617964]
  大規模言語モデル(LLM)は、科学概念の伝達や説明にますます利用されている。 本研究は, 科学的に微調整されたモデルと汎用ベースとの対比により, 18 LLM の評価を行った。
  論文  参考訳（メタデータ） (2026-06-19T12:03:02Z)
• FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games [2.959715295394151]
  従来のWason 2-4-6タスクに触発された仮説駆動推論のための評価フレームワークであるFALSIFYBENCHを紹介する。 このタスクは、仮説の生成、証拠収集、そして証拠の確認と不確認の両方に対応する信念の修正という、科学的推論の重要な要素を捉えている。 モデルファミリとスケールをまたいだ12 LLM の評価は、推論モデルが命令調整モデルよりも一般的に強力な科学的推論モデルであることを示しているが、最適性能に近づくモデルはない。
  論文  参考訳（メタデータ） (2026-06-03T11:33:17Z)
• Towards Characterizing Scientific Image Utility and Upgradability [71.77263034120624]
  本稿では,科学的画像評価のための枠組みを提案する。 我々は, 科学的画像の劣化を, 詳細歪み, 不完全性, 偽コンテンツ, エンティティ・コンフュージョンの4つの基本タイプに分類した。 フレームワークは、2段階評価プロトコルを実装しており、textitUtilityステージはエラー検出能力と修正命令生成を評価し、textitUpgradabilityステージは、既存の正確な情報を妥協することなく、修正が科学的妥当性を忠実に回復するかどうかを評価する。
  論文  参考訳（メタデータ） (2026-06-02T09:42:29Z)
• InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis [19.4536238905905]
  InfiniteScienceGymは、検証可能な質問応答タスクと組み合わせた、手続き的に生成された科学リポジトリのベンチマークである。 シードから、シミュレータは、現実的なディレクトリ構造、ファイル、表データを備えた自己完結型リポジトリを確定的に生成し、特権QA生成器は、正確な根拠真理で、回答可能な質問と解決できない質問の両方を生成する。 全体的な精度は45%を超えず、解決不可能な質問を認識することは依然として大きな弱点であり、強力なモデルでは単にトークンを消費するのではなく、ツールを効果的に使用する傾向にあります。
  論文  参考訳（メタデータ） (2026-04-14T18:23:02Z)
• SciIF: Benchmarking Scientific Instruction Following Towards Rigorous Scientific Intelligence [60.202862987441684]
  科学的妥当性を確立する制約に厳格に固執しながら、問題を解決する能力。 具体的には,大学レベルの問題と制約の固定されたカタログをペアにすることで,この能力を評価するマルチディシプリンのベンチマークであるSciIFを紹介する。 SciIFは、解の正当性と多拘束性の両方を測定することにより、構成的推論失敗のきめ細かい診断を可能にする。
  論文  参考訳（メタデータ） (2026-01-08T09:45:58Z)
• AlignCheck: a Semantic Open-Domain Metric for Factual Consistency Assessment [0.0]
  ドメイン内およびオープンドメインテキストの事実整合性評価のための解釈可能なフレームワークを提案する。 提案手法では,テキストをアトミックな事実に分解し,フレキシブルでスキーマフリーな手法を導入する。 一般的な一般的なデータセットと臨床データセットにアプローチをベンチマークし、事実認識モデルトレーニングをサポートするためにコードをリリースします。
  論文  参考訳（メタデータ） (2025-12-03T10:14:31Z)
• Catch Me If You Can: How Smaller Reasoning Models Pretend to Reason with Mathematical Fidelity [15.774418410083515]
  表面パターンマッチングと実際の数学的推論を区別する診断フレームワークを提案する。 我々は表面性能と推論忠実度の間に顕著な不一致を明らかにした。 私たちの診断では、従来の精度メトリクスには見えない推論の失敗を明らかにします。
  論文  参考訳（メタデータ） (2025-11-29T16:47:01Z)
• Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
  我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。 これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。 本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T08:48:00Z)
• Atomic Reasoning for Scientific Table Claim Verification [83.14588611859826]
  非専門家は、その高い情報密度と認識される信頼性のために、科学的表に基づく主張を誤解させるおそれがある。 既存のテーブルクレーム検証モデル、例えば最先端の大規模言語モデル(LLM)は、しばしば精密なきめ細かい推論に苦しむ。 認知負荷理論に触発されて、表に基づく主張を解釈するモデルの能力を高めるには、認知負荷を減らす必要がある。
  論文  参考訳（メタデータ） (2025-06-08T02:46:22Z)
• Prediction-Powered Causal Inferences [59.98498488132307]
  予測型因果推論(PPCI)に焦点をあてる まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。 次に、実験間での十分な表現制約伝達の妥当性を導入する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• FactTest: Factuality Testing in Large Language Models with Finite-Sample and Distribution-Free Guarantees [41.78390564658645]
  幻覚や非現実的コンテンツを生成するための大規模言語モデル(LLM)は、高い領域での信頼性を損なう。 FactTest は LLM が与えられた質問に対する正しい回答を確実に提供できるかどうかを統計的に評価する新しいフレームワークである。 本研究では,FactTestが幻覚を効果的に検出し,未知の疑問に答えることを禁じるモデルの能力を向上させることにより,40%以上の精度向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-04T20:53:04Z)
• Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
  本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。 最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。 以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-05-27T13:26:34Z)
• Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
  本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。 従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。 パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
  論文  参考訳（メタデータ） (2023-09-06T05:19:41Z)
• Testing Causality in Scientific Modelling Software [0.26388783516590225]
  Causal Testing Frameworkは、Causal Inferenceテクニックを使用して、既存のデータから因果効果を確立するフレームワークである。 実世界の科学モデルをカバーする3つのケーススタディとして、Causal Testing Frameworkがいかにメタモルフィックテストの結果を推測できるかを示す。
  論文  参考訳（メタデータ） (2022-09-01T10:57:54Z)
• RerrFact: Reduced Evidence Retrieval Representations for Scientific Claim Verification [4.052777228128475]
  本稿では,各予測サブタスクに対して連続的に二項分類を行うモジュラー手法を提案する。 我々は、まず非関連な有理を区別し、与えられた主張に対する支持または反証する有理を識別する2段階のスタンス予測を行う。 実験的に、我々のシステムRerrFactは微調整もシンプルな設計もせず、モデルパラメータのごく一部はリーダーボード上で競争的に公正である。
  論文  参考訳（メタデータ） (2022-02-05T21:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。