論文の概要: SciExam for ENSO: Can AI Agents Build Climate Models?

• arxiv url: http://arxiv.org/abs/2610.10513v1
• Date: Wed, 07 Oct 2026 17:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.096452
• Title: SciExam for ENSO: Can AI Agents Build Climate Models?
• Title（参考訳）: SciExam for ENSO:AIエージェントは気候モデルを構築することができるか?
• Abstract要約: 様々な情報の下でトップシステムの制御された実行は、そのスコアが、日付の観測記録をリコールすることによるものではないことを示唆している。 結果は、科学者がまだ議論している疑問に答える構造を持つ競争モデルを構築することができることを示唆している。
• 参考スコア（独自算出の注目度）: 54.94822880836718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-model agents are increasingly asked to carry out open-ended scientific research, yet their results are usually graded against a known answer, a rubric, or a language-model reviewer, none of which can tell whether a new scientific model is valid. The AI Science Exam for El Nino-Southern Oscillation (SciExam for ENSO) is a benchmark in which agents build low-order stochastic models of ENSO, the dominant mode of interannual climate variability, from real observations. Within a six-hour budget, agents process the observations, write their own diagnostics, which are then frozen, and develop a model using only these diagnostics as feedback. Hidden graders then test whether the model reproduces ENSO's statistics, recovers unobserved variables, and forecasts held-out years, and score a published model in the same way. Across twelve agent systems, six produce models that score higher than the published model, mainly through better reconstruction and forecasting. The simplified forms of the stronger models are each compatible with one of the two competing explanations of ENSO's warm-cold asymmetry, an open debate that the task never mentions. Controlled runs of the top system under varied information suggest that its scores do not come from recalling the dated observational record and that the information it receives shapes how it builds its model. SciExam for ENSO can thus evaluate agent research where no answer is known, and the results suggest that agents can already build competitive models whose structures bear on questions that scientists still debate.
• Abstract（参考訳）: 言語モデルエージェントは、オープンな科学的研究を行うことがますます求められているが、その結果は通常、既知の答え、ルーリック、言語モデルレビュアーに対して評価される。 AI Science Exam for El Nino-Southern Oscillation (SciExam for ENSO)は、エージェントが実際の観測から年次気候変動の主要なモードであるENSOの低次確率モデルを構築するためのベンチマークである。 6時間以内の予算で、エージェントは観察を処理し、独自の診断書を書き、凍結し、これらの診断のみをフィードバックとしてモデルを開発する。 隠されたグレーダーは、モデルがENSOの統計を再現し、観測されていない変数を復元し、何年も保留されている予測を行い、同じ方法で発行されたモデルを評価する。 12のエージェントシステムにまたがって、6つのモデルが発行されたモデルよりも高いスコアを出力する。 より強力なモデルの単純化された形式は、いずれもENSOの温冷非対称性の競合する2つの説明の1つと互換性があり、これはタスクが決して言及しないオープンな議論である。 様々な情報の下でトップシステムの制御された実行は、そのスコアは、日付の観測記録をリコールすることによるものではなく、受信した情報がモデルの構築方法を形作ることを示唆している。 SciExam for ENSOは、答えがわからないエージェントの研究を評価することができる。

関連論文リスト

• AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era [55.37558486468993]
  AgentIdeaBenchは、静的観測とアクティブ探索という2つの一致した条件下で科学的思考を評価するベンチマークである。 5つの分野にまたがる40の高密度サブフィールドにおける33個のLDMの静的アクティブ評価を一致させた。 アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
  論文  参考訳（メタデータ） (2026-09-07T15:19:13Z)
• FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games [2.959715295394151]
  従来のWason 2-4-6タスクに触発された仮説駆動推論のための評価フレームワークであるFALSIFYBENCHを紹介する。 このタスクは、仮説の生成、証拠収集、そして証拠の確認と不確認の両方に対応する信念の修正という、科学的推論の重要な要素を捉えている。 モデルファミリとスケールをまたいだ12 LLM の評価は、推論モデルが命令調整モデルよりも一般的に強力な科学的推論モデルであることを示しているが、最適性能に近づくモデルはない。
  論文  参考訳（メタデータ） (2026-06-03T11:33:17Z)
• CLINB: A Climate Intelligence Benchmark for Foundational Models [31.884362929125363]
  オープンエンド,グラウンドド,マルチモーダルな質問応答タスクのモデルを評価するベンチマークであるCLINBを紹介する。 モデルに基づく評価プロセスを実装し,いくつかのフロンティアモデルを評価する。
  論文  参考訳（メタデータ） (2025-10-29T16:15:42Z)
• SciArena: An Open Evaluation Platform for Foundation Models in Scientific Literature Tasks [87.29946641069068]
  我々は,学術文献タスクの基礎モデルを評価するための,オープンで協調的なプラットフォームであるSciArenaを紹介する。 集合的知性を活用することで、SciArenaはコミュニティ主導の、オープンな科学的タスクにおけるモデルパフォーマンスの評価を提供する。 収集した嗜好データに基づいたメタ評価ベンチマークであるSciArena-Evalをリリースする。
  論文  参考訳（メタデータ） (2025-07-01T17:51:59Z)
• Explaining word embeddings with perfect fidelity: Case study in research impact prediction [0.0]
  本稿では,単語埋め込みに基づいて学習したロジスティック回帰に基づく分類モデルに対して,新たな特徴重要度手法である自己モデルRated Entities(SMER)を提案する。 SMERは理論上、説明されたモデルに完全に忠実である。 SMERはLIME,SHAP,Global Tree surrogatesよりもよく説明できることを示した。
  論文  参考訳（メタデータ） (2024-09-24T09:28:24Z)
• Retrieve to Explain: Evidence-driven Predictions for Explainable Drug Target Identification [0.791663505497707]
  Retrieve to Explain (R2E) は検索に基づくモデルで、可能なすべての回答をスコア付けし、ランク付けする。 R2Eはそれぞれの答えを、その裏付けとしてのみ表現し、答え自体が隠蔽されている。 薬物標的同定の挑戦的科学的発見課題としてR2Eを開発した。
  論文  参考訳（メタデータ） (2024-02-06T15:13:17Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。