論文の概要: SciR: A Controllable Benchmark for Scientific Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2606.13020v1
• Date: Thu, 11 Jun 2026 07:54:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.656861
• Title: SciR: A Controllable Benchmark for Scientific Reasoning in LLMs
• Title（参考訳）: SciR: LLMにおける科学的推論のための制御可能なベンチマーク
• Abstract要約: SciRは、マルチパラダイム推論と制御可能な科学的レンダリングを組み合わせたベンチマークである。 我々の知る限り、SciRは抽出と推論の難易度の両方をパラメトリック制御した最初のマルチパラダイム科学的推論ベンチマークである。
• 参考スコア（独自算出の注目度）: 14.183744057358547
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Three paradigmatic forms of inference recur across scientific reasoning: deduction, induction, and causal abduction. Reliably evaluating LLMs on these in scientific settings is currently out of reach: scientific benchmarks built on human annotations are costly and lack mechanistic ground truth, while synthetic logical-reasoning benchmarks do not resemble real scientific documents. We introduce SciR, a benchmark that combines multi-paradigm reasoning with controllable scientific rendering, anchored on three paradigmatic scientific problems. Tasks are generated from formal objects (deduction tree, inductive rule hypothesis, causal graph) to guarantee verifiable answers, then rendered into multi-document scientific discourse via per-track domain-tuned genres. The construction lets us independently vary two difficulty axes: how hard it is to extract the key information needed for inference, and how hard the principled inference itself is. We test six models. Both axes hurt every model, and their effects compound. The rendering even hurts neurosymbolic pipelines, which hand inference to a verified solver. The two axes yield a per-model extraction-vs-inference profile: for instance, reasoning models like deepseek-r1 mostly surpass non-reasoning instruct models on the inference axis. To our knowledge, SciR is the first multi-paradigm scientific-reasoning benchmark with parametric control on both extraction and inference difficulty.
• Abstract（参考訳）: 推論の3つのパラダイム形式は、推論、帰納、因果推論の3つにまたがる。 人間のアノテーションの上に構築された科学的ベンチマークはコストがかかり、機械的な基礎的真実が欠如しているのに対して、合成論理推論ベンチマークは実際の科学的文書に似ていない。 マルチパラダイム推論と制御可能な科学的レンダリングを組み合わせたベンチマークであるSciRを紹介する。 タスクは形式的オブジェクト(推論木、帰納規則仮説、因果グラフ)から生成され、検証可能な回答を保証する。 この構造は、推論に必要な重要な情報を取り出すのがどれだけ難しいか、そして、原理化された推論自体がどれほど難しいかという、2つの難易度軸を独立に変化させる。 私たちは6つのモデルをテストします。 どちらの軸も全てのモデルや効果化合物を傷つけます。 このレンダリングは、検証されたソルバに推論を行うニューロシンボリックパイプラインを損なう。 例えば、Deepseek-r1のような推論モデルは、推論軸上の非推論インストラクションモデルを上回る。 我々の知る限り、SciRは抽出と推論の難易度の両方をパラメトリック制御した最初のマルチパラダイム科学的推論ベンチマークである。

関連論文リスト

• Can LLMs Discover Scientific Laws in Real and Parallel Worlds? [58.76147897928744]
  SCILAWS-BENCHは、公表された研究と実際の科学データから構築された科学法発見のためのベンチマークである。 381の科学論文から118の問題を抽出し、291の法則と6つの科学分野にわたる800万の実際のデータポイントをカバーしている。 予測適合性は、科学的妥当性から分岐し、モデルが公表された公式を再現するか、移動するかを記憶する形に変化し、我々のベスト・オブ・N研究は選択ボトルネックを明らかにした。
  論文  参考訳（メタデータ） (2026-09-01T17:17:59Z)
• SPARK: Skeleton-Guided Reasoning Synthesis from Large-Scale Scientific Literature [26.176405135367038]
  SPARKはSci-Base上に構築された紙指向合成フレームワークである。 SPARKはそれぞれの論文を、その中心の主張を捉え証拠を裏付けるコンパクトな推理骨格に蒸留する。 我々はSpark-234Kという科学推論データセットを構築し、既存のリソースよりも難易度と多様性が著しく高い。
  論文  参考訳（メタデータ） (2026-08-31T03:55:30Z)
• Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations [27.330265411994258]
  SCHEMA(SCHEMA)は、科学的エージェントの幻覚評価のためのエビデンスベースのトポロジー対応評価フレームワークである。 幻覚は、高度に接続された知識ハブの小さなセットに集中していることが示される。 その結果, 高精度な科学的応用においては, 端末の精度だけではエージェントの信頼性が不十分な信号であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-01T15:19:10Z)
• Scientific Image Synthesis: Benchmarking, Methodologies, and Downstream Utility [57.83550091882176]
  生成パラダイム,評価,下流利用における科学的画像合成について検討する。 本稿では,情報の有用性と論理的妥当性に基づいて生成した画像を評価するSciGenBenchを紹介する。 厳密に検証された合成科学画像上の微調整された大規模マルチモーダルモデルにより、一貫した推論ゲインが得られることを示す。
  論文  参考訳（メタデータ） (2026-01-17T14:18:36Z)
• ARCHE: A Novel Task to Evaluate LLMs on Latent Reasoning Chain Extraction [70.53044880892196]
  本稿では、複雑な推論引数を標準推論パラダイムの組み合わせに分解し、Reasoning Logic Tree (RLT) という形で分解しなければならない、ARCHE(Latent Reasoning Chain extract)という新しいタスクを紹介する。 この作業を容易にするために,我々は,1,900以上の参照と38,000の視点を含む70のNature Communicationsの記事から得られた新しいベンチマークであるARCHE Benchをリリースする。 ARCHE Bench上での10のLLMの評価では、モデルがREAとECのトレードオフを示しており、完全な標準推論チェーンを抽出することはできません。
  論文  参考訳（メタデータ） (2025-11-16T07:37:09Z)
• LLM-SRBench: A New Benchmark for Scientific Equation Discovery with Large Language Models [20.800445482814958]
  LLM(Large Language Models)は、仮説生成に埋め込まれた科学的知識を活用する可能性に関心を寄せている。 既存のベンチマークは、LLMによる暗記の影響を受けやすい一般的な方程式に依存しており、発見を反映しないインフレーションされたパフォーマンス指標に繋がる。 本稿では,4つの領域にまたがる239の課題を伴う総合的なベンチマークであるLSM-SRBenchを紹介する。 我々のベンチマークは、2つの主要なカテゴリで構成されている: LSR-Transformは、一般的な物理モデルからあまり一般的でない数学的表現に変換し、記憶された形式を超えた推論をテストする。
  論文  参考訳（メタデータ） (2025-04-14T17:00:13Z)
• Context-Aware Reasoning On Parametric Knowledge for Inferring Causal Variables [49.31233968546582]
  本稿では,部分因果グラフの完成を目的とした新しいベンチマークを提案する。 原因と効果の間のバックドア変数を仮説化するLLMの強い能力を示す。 固定された関連性の単純な記憶とは異なり、我々のタスクはグラフ全体のコンテキストに応じてLCMを推論する必要がある。
  論文  参考訳（メタデータ） (2024-09-04T10:37:44Z)
• Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
  本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。 最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。 以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-05-27T13:26:34Z)
• Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
  本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。 従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。 パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
  論文  参考訳（メタデータ） (2023-09-06T05:19:41Z)
• RerrFact: Reduced Evidence Retrieval Representations for Scientific Claim Verification [4.052777228128475]
  本稿では,各予測サブタスクに対して連続的に二項分類を行うモジュラー手法を提案する。 我々は、まず非関連な有理を区別し、与えられた主張に対する支持または反証する有理を識別する2段階のスタンス予測を行う。 実験的に、我々のシステムRerrFactは微調整もシンプルな設計もせず、モデルパラメータのごく一部はリーダーボード上で競争的に公正である。
  論文  参考訳（メタデータ） (2022-02-05T21:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。