論文の概要: SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World
- arxiv url: http://arxiv.org/abs/2610.37919v1
- Date: Tue, 27 Oct 2026 20:02:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.912839
- Title: SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World
- Title（参考訳）: SciGame: エージェントがリアルとカウンターファクトの世界で科学的な発見ゲームをプレイできる
- Abstract要約: 我々は、科学文献を構造化された科学カードに変換する制御されたベンチマークであるSciGameを紹介する。
SciGameには、標準的な法則の歴史的コレクションと、モデル知識の遮断後に出版された論文から収集されたライブのテンポラルコレクションが含まれている。
候補誘導識別とオープンエンドディスカバリ設定におけるエージェントの評価を行う。
- 参考スコア（独自算出の注目度）: 18.127920536196303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model agents are increasingly used for scientific discovery. However, existing benchmarks mix law inference with programming, score data fitting instead of prediction on unseen inputs, and do not separate empirical evidence from pretrained priors. We introduce SciGame, a controlled benchmark that converts scientific literature into structured scientific cards. Each card yields a pair of Original and dimensionally consistent Counterfactual environments with the same task interface. SciGame contains a Historical collection of canonical laws and a live Temporal collection curated from papers published after model knowledge cutoffs. It evaluates agents in candidate-guided Identification and open-ended Discovery settings. Each setting runs under Prior-only, Fixed, and Adaptive protocols. Experiments on five frontier models yield three findings. First, familiar priors hurt performance once the governing relation is altered. Second, adaptive experimentation helps the strongest models but harms weaker ones under limited budgets. Third, good explanations can hide quantitative failures. Recovering the exact symbolic form remains the main bottleneck, even when agents interpret evidence correctly. Current agents can investigate systems actively, but inducing exact laws in unfamiliar settings remains an open challenge.
- Abstract（参考訳）: 大規模言語モデルエージェントは科学的な発見にますます利用されている。
しかし、既存のベンチマークは、法則推論とプログラミングを混合し、目に見えない入力の予測ではなくデータフィッティングをスコアし、事前訓練された前例から経験的な証拠を分離しない。
我々は、科学文献を構造化された科学カードに変換する制御されたベンチマークであるSciGameを紹介する。
各カードは、同一のタスクインターフェースを持つオリジナルとディメンショナルに整合したカウンターファクト環境のペアを生成する。
SciGameには、標準的な法則の歴史的コレクションと、モデル知識の遮断後に出版された論文から収集されたライブのテンポラルコレクションが含まれている。
候補誘導識別とオープンエンドディスカバリ設定におけるエージェントの評価を行う。
各設定は、Predior-only、Fixed、Adaptiveプロトコルで実行される。
5つのフロンティアモデルの実験では3つの結果が得られた。
まず、おなじみのプリエントは、ガバナンスの関係が変更されるとパフォーマンスを損なう。
第二に、適応的な実験は最強のモデルに役立つが、限られた予算の下で弱いモデルに害を与える。
第三に、良い説明は量的な失敗を隠すことができる。
正確な記号形式を復元することは、エージェントが証拠を正しく解釈したとしても、依然として主要なボトルネックである。
現在のエージェントはシステムを積極的に調査できるが、不慣れな環境で正確な法則を導き出すことは、未解決の課題である。
関連論文リスト
- DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。
エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。
これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
論文 参考訳（メタデータ） (2026-09-27T08:29:32Z) - Can LLMs Discover Scientific Laws in Real and Parallel Worlds? [58.76147897928744]
SCILAWS-BENCHは、公表された研究と実際の科学データから構築された科学法発見のためのベンチマークである。
381の科学論文から118の問題を抽出し、291の法則と6つの科学分野にわたる800万の実際のデータポイントをカバーしている。
予測適合性は、科学的妥当性から分岐し、モデルが公表された公式を再現するか、移動するかを記憶する形に変化し、我々のベスト・オブ・N研究は選択ボトルネックを明らかにした。
論文 参考訳（メタデータ） (2026-09-01T17:17:59Z) - MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents [74.83535434786145]
MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。
生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
論文 参考訳（メタデータ） (2026-08-31T16:05:39Z) - Artifact-centered Claim-aware Observability for Autonomous Scientific Agents [4.403170275941483]
本研究では,個人,オペレータ,フィットネスレコード,系統,アーカイブ,ラン,ストリーム,ステアリングコマンドを中心に構成されたコンパクトな可観測性プロファイルを提案する。
プロファイルは、現在のテレメトリとプロファイランス標準を補完するセマンティックレイヤとして意図されている。
論文 参考訳（メタデータ） (2026-08-18T20:47:24Z) - An AI Scientist that Doesn't Drift: Taste, Structure, and Falsifiable Findings in a Quadruped Navigation Research Loop [3.803070970930801]
本稿では,シミュレーションにおける四脚ロボットナビゲーションポリシーの一般化について研究するAIサイエンティストについて紹介する。
ループには3つのコンポーネントが追加されています。イミュータブルな実験カードで、各イテレーションの予測と結果とを、固定スキーマの下でペアリングします。
オラクルを分離するためには同じループを、カンブなしで11の研究ストリームで2回実行します。
論文 参考訳（メタデータ） (2026-07-30T21:07:15Z) - Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts [0.0]
コーディングエージェントは信頼できるツールを証明しているが、オープンエンドのクレーム作成のための信頼性の低い科学的共著者である。
一段階の体制シフトチェックは、エージェントのクレームのみを必要とし、過度に一般化されたケースにフラグを付ける。
コンパニオン再計算は、正しいオブザーバブルがわかっている場合の残りのケースをフラグする。
論文 参考訳（メタデータ） (2026-06-22T11:14:07Z) - CliffSearch: Structured Agentic Co-Evolution over Theory and Code for Scientific Algorithm Discovery [8.600891931062277]
本稿では,コア進化演算子をLLMエージェントとして実装したエージェント進化フレームワークCliffSearchを提案する。
本稿では, トランスフォーマーのハイパーコネクション進化, 固定ナノGPTスタック上の発見, ネイティブ最適化アブレーションの3つのベンチマーク基盤研究の枠組みについて述べる。
論文 参考訳（メタデータ） (2026-04-01T17:51:26Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-26T19:17:39Z) - Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。
従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。
パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
論文 参考訳（メタデータ） (2023-09-06T05:19:41Z) - RerrFact: Reduced Evidence Retrieval Representations for Scientific
Claim Verification [4.052777228128475]
本稿では,各予測サブタスクに対して連続的に二項分類を行うモジュラー手法を提案する。
我々は、まず非関連な有理を区別し、与えられた主張に対する支持または反証する有理を識別する2段階のスタンス予測を行う。
実験的に、我々のシステムRerrFactは微調整もシンプルな設計もせず、モデルパラメータのごく一部はリーダーボード上で競争的に公正である。
論文 参考訳（メタデータ） (2022-02-05T21:52:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。