論文の概要: Do Language Models Know What Compelling Scientific Evidence Looks Like?

• arxiv url: http://arxiv.org/abs/2610.41015v1
• Date: Thu, 29 Oct 2026 21:51:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.502824
• Title: Do Language Models Know What Compelling Scientific Evidence Looks Like?
• Title（参考訳）: 言語モデルは科学的証拠をどう解釈するか?
• Abstract要約: 3つの生物学的領域における実世界のデータから算出した科学的推論ベンチマークである-Bioを紹介した。 ビオの96kエピソードの各エピソードは、出版された研究から実験結果を示し、ターゲット仮説が真である確率を予測するようモデルに求める。 厳格な適切なスコアリングルールに対するポストトレーニングは、校正と差別の両方を著しく改善する。
• 参考スコア（独自算出の注目度）: 4.369786192432518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expert scientists excel at weighing empirical findings from multiple sources that vary in both statistical reliability and epistemic relevance. To what extent are language models, which are increasingly driving autonomous discovery systems, capable of such evidence deliberation? We introduce EDB-Bio, a scientific reasoning benchmark curated from real-world data in three biological domains: drug-perturbation transcriptomics, CRISPR screens, and human genome-wide association studies (GWAS). Each of EDB-Bio's 96k episodes presents a sequence of experimental results from published studies and asks the model to predict the probability that a target hypothesis is true. Out-of-the-box, open-weight and frontier models alike demonstrate systematic underconfidence and attain Brier scores comparable to a trivial base-rate forecaster. Post-training against strictly proper scoring rules significantly improves both calibration and discrimination. This calibration pays off downstream: in a sequential experiment selection task, our Ibis0 model is 2.5 times more efficient than the best frontier model. Throughout, quantifying evidence weights as Bayes factors reveals how models update their beliefs over time, whether they agree with expert biologists on relevance, and where they exhibit inconsistencies and biases. Our work extends calibration training and uncertainty analysis to a realistic scientific forecasting setting with applications to human cancer biology. We release all code, data, and trained models.
• Abstract（参考訳）: 専門家は、統計的信頼性とてんかんの関連性の両方が異なる複数の情報源からの経験的発見を測ることに長けている。 自律的な発見システムをますます推進している言語モデルは、どの程度まで、そのような証拠を検討できるのだろうか? EDB-Bioは3つの生物領域(薬物摂動転写学、CRISPRスクリーン、ヒトゲノムワイド・アソシエーション研究(GWAS))における実世界のデータから算出された科学的推論ベンチマークである。 EDB-Bioの96kエピソードはそれぞれ、出版された研究から実験結果の連続を示し、ターゲット仮説が真である確率を予測するようモデルに求める。 アウト・オブ・ザ・ボックス、オープンウェイト、フロンティアモデルも同様に、体系的な不信感を示し、ブライアスコアは自明なベースレート予測器に匹敵する。 厳格な適切なスコアリングルールに対するポストトレーニングは、校正と差別の両方を著しく改善する。 連続的な実験選択タスクでは、我々のIbis0モデルは最良のフロンティアモデルよりも2.5倍効率が良い。 ベイズ因子のような証拠の重みの定量化は、モデルが時間の経過とともに信念を更新する方法を明らかにし、専門家生物学者と関連性について合意するか、矛盾や偏見を示すかを明らかにする。 我々の研究はキャリブレーショントレーニングと不確実性分析を拡張し、現実的な科学的予測設定とヒトがん生物学への応用を拡大する。 すべてのコード、データ、トレーニングされたモデルをリリースします。

関連論文リスト

• SciExam for ENSO: Can AI Agents Build Climate Models? [54.94822880836718]
  様々な情報の下でトップシステムの制御された実行は、そのスコアが、日付の観測記録をリコールすることによるものではないことを示唆している。 結果は、科学者がまだ議論している疑問に答える構造を持つ競争モデルを構築することができることを示唆している。
  論文  参考訳（メタデータ） (2026-10-07T17:52:52Z)
• Tool-Augmented On-Policy Distillation for LLM Domain Adaptation in Sequence-Based Omics Tasks [72.97315136048122]
  マルチオミクスシーケンスの最初の推論ベンチマークであるOmicsBenchを紹介する。 予測と科学的推論の両方を評価することが重要です ツール強化型オン・ポリケーション (TA-OPD) を導入し, シークエンス予測とエビデンス基底の生物学的推論を一致させる。
  論文  参考訳（メタデータ） (2026-09-20T08:08:34Z)
• Knowing When Not to Answer: Abstention-Aware Scientific Reasoning [2.680633756465714]
  科学的条件下では、支持または不確実な結論は、棄権するよりも有害である。 本稿では,この問題に対して,留意点を考慮した検証フレームワークを用いて検討する。 我々はこのフレームワークをSciFactとPubMedQAの2つの科学的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-02-15T15:29:43Z)
• Trustworthy scientific inference for inverse problems with generative models [2.986676058695281]
  生成人工知能(AI)は、トレーニング例からパターンを学習することで、複雑なデータ構造(テキスト、画像、ビデオ)を生成できる。 科学の分野では、研究者は観測データから隠れたパラメータを推測するために生成モデルを適用している。 本稿では,Frequentist-Bayes(FreB)という,AI生成した確率分布を信頼領域に再認識する数学的厳密なプロトコルを提案する。
  論文  参考訳（メタデータ） (2025-08-04T16:56:11Z)
• BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery [32.395366135636046]
  実験的な設計とモデル発見を評価するための10環境のベンチマークであるBoxingGymを紹介する。 予測情報ゲイン(EIG)は,実験が生成モデルのパラメータの不確実性をどの程度低減するかを測定する情報理論量である。 GPT-4oのような現在のLLMは、実験的な設計とモデル発見の両方に苦戦している。
  論文  参考訳（メタデータ） (2025-01-02T21:15:57Z)
• Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
  本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。 最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。 以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-05-27T13:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。