論文の概要: SciR: A Controllable Benchmark for Scientific Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2606.13020v1
• Date: Thu, 11 Jun 2026 07:54:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.656861
• Title: SciR: A Controllable Benchmark for Scientific Reasoning in LLMs
• Title（参考訳）: SciR: LLMにおける科学的推論のための制御可能なベンチマーク
• Authors: Pierre Beckmann, Marco Valentino, Andre Freitas,
• Abstract要約: SciRは、マルチパラダイム推論と制御可能な科学的レンダリングを組み合わせたベンチマークである。 我々の知る限り、SciRは抽出と推論の難易度の両方をパラメトリック制御した最初のマルチパラダイム科学的推論ベンチマークである。
• 参考スコア（独自算出の注目度）: 14.183744057358547
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Three paradigmatic forms of inference recur across scientific reasoning: deduction, induction, and causal abduction. Reliably evaluating LLMs on these in scientific settings is currently out of reach: scientific benchmarks built on human annotations are costly and lack mechanistic ground truth, while synthetic logical-reasoning benchmarks do not resemble real scientific documents. We introduce SciR, a benchmark that combines multi-paradigm reasoning with controllable scientific rendering, anchored on three paradigmatic scientific problems. Tasks are generated from formal objects (deduction tree, inductive rule hypothesis, causal graph) to guarantee verifiable answers, then rendered into multi-document scientific discourse via per-track domain-tuned genres. The construction lets us independently vary two difficulty axes: how hard it is to extract the key information needed for inference, and how hard the principled inference itself is. We test six models. Both axes hurt every model, and their effects compound. The rendering even hurts neurosymbolic pipelines, which hand inference to a verified solver. The two axes yield a per-model extraction-vs-inference profile: for instance, reasoning models like deepseek-r1 mostly surpass non-reasoning instruct models on the inference axis. To our knowledge, SciR is the first multi-paradigm scientific-reasoning benchmark with parametric control on both extraction and inference difficulty.
• Abstract（参考訳）: 推論の3つのパラダイム形式は、推論、帰納、因果推論の3つにまたがる。 人間のアノテーションの上に構築された科学的ベンチマークはコストがかかり、機械的な基礎的真実が欠如しているのに対して、合成論理推論ベンチマークは実際の科学的文書に似ていない。 マルチパラダイム推論と制御可能な科学的レンダリングを組み合わせたベンチマークであるSciRを紹介する。 タスクは形式的オブジェクト(推論木、帰納規則仮説、因果グラフ)から生成され、検証可能な回答を保証する。 この構造は、推論に必要な重要な情報を取り出すのがどれだけ難しいか、そして、原理化された推論自体がどれほど難しいかという、2つの難易度軸を独立に変化させる。 私たちは6つのモデルをテストします。 どちらの軸も全てのモデルや効果化合物を傷つけます。 このレンダリングは、検証されたソルバに推論を行うニューロシンボリックパイプラインを損なう。 例えば、Deepseek-r1のような推論モデルは、推論軸上の非推論インストラクションモデルを上回る。 我々の知る限り、SciRは抽出と推論の難易度の両方をパラメトリック制御した最初のマルチパラダイム科学的推論ベンチマークである。

関連論文リスト

• ARCHE: A Novel Task to Evaluate LLMs on Latent Reasoning Chain Extraction [70.53044880892196]
  本稿では、複雑な推論引数を標準推論パラダイムの組み合わせに分解し、Reasoning Logic Tree (RLT) という形で分解しなければならない、ARCHE(Latent Reasoning Chain extract)という新しいタスクを紹介する。 この作業を容易にするために,我々は,1,900以上の参照と38,000の視点を含む70のNature Communicationsの記事から得られた新しいベンチマークであるARCHE Benchをリリースする。 ARCHE Bench上での10のLLMの評価では、モデルがREAとECのトレードオフを示しており、完全な標準推論チェーンを抽出することはできません。
  論文  参考訳（メタデータ） (2025-11-16T07:37:09Z)
• LLM-SRBench: A New Benchmark for Scientific Equation Discovery with Large Language Models [20.800445482814958]
  LLM(Large Language Models)は、仮説生成に埋め込まれた科学的知識を活用する可能性に関心を寄せている。 既存のベンチマークは、LLMによる暗記の影響を受けやすい一般的な方程式に依存しており、発見を反映しないインフレーションされたパフォーマンス指標に繋がる。 本稿では,4つの領域にまたがる239の課題を伴う総合的なベンチマークであるLSM-SRBenchを紹介する。 我々のベンチマークは、2つの主要なカテゴリで構成されている: LSR-Transformは、一般的な物理モデルからあまり一般的でない数学的表現に変換し、記憶された形式を超えた推論をテストする。
  論文  参考訳（メタデータ） (2025-04-14T17:00:13Z)
• Context-Aware Reasoning On Parametric Knowledge for Inferring Causal Variables [49.31233968546582]
  本稿では,部分因果グラフの完成を目的とした新しいベンチマークを提案する。 原因と効果の間のバックドア変数を仮説化するLLMの強い能力を示す。 固定された関連性の単純な記憶とは異なり、我々のタスクはグラフ全体のコンテキストに応じてLCMを推論する必要がある。
  論文  参考訳（メタデータ） (2024-09-04T10:37:44Z)
• Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
  本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。 最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。 以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-05-27T13:26:34Z)
• RerrFact: Reduced Evidence Retrieval Representations for Scientific Claim Verification [4.052777228128475]
  本稿では,各予測サブタスクに対して連続的に二項分類を行うモジュラー手法を提案する。 我々は、まず非関連な有理を区別し、与えられた主張に対する支持または反証する有理を識別する2段階のスタンス予測を行う。 実験的に、我々のシステムRerrFactは微調整もシンプルな設計もせず、モデルパラメータのごく一部はリーダーボード上で競争的に公正である。
  論文  参考訳（メタデータ） (2022-02-05T21:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。