論文の概要: EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards
- arxiv url: http://arxiv.org/abs/2608.23525v1
- Date: Mon, 24 Aug 2026 17:29:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.216245
- Title: EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards
- Title（参考訳）: EarthVerse: ダイナミックアースシステムとナチュラルハザードにまたがる科学エージェントのベンチマーク
- Abstract要約: 我々は,包括的調査を通じて科学的エージェントを評価するベンチマークであるEarthVerseを紹介する。
エージェントは異種イベントパッケージを検査し、互換性のあるエビデンスを選択し、透過的な計算を実行し、ソース差を調整し、最終回答で証明を保存する。
システム全体では、平均回答ユニットの精度は84.65%であり、最も高いStrict@95は34.81%である。
- 参考スコア（独自算出の注目度）: 73.12811119273206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Earth-system analysis reconstructs changing physical processes from observations that differ in source, scale, timing, and modality. Natural hazards make this work consequential because incomplete evidence can change estimates of severity, exposure, and mechanism. We introduce EarthVerse, a benchmark that evaluates scientific agents through package-scoped investigations. Its 405 reproducible tasks are grounded in 199 documented events and 19 hazard families. Agents inspect heterogeneous event packages, choose compatible evidence, execute transparent calculations, reconcile source differences, and preserve provenance in the final answer. We provide executable ground truth that decomposes each task into fine-grained answer units, together with task-specific rubrics that assess the supporting research process while allowing multiple valid paths. We evaluate 25 model and agent systems under a controlled tool-using protocol, then use controlled studies to locate failures in evidence access, tool selection, memory, reasoning, interaction, and scientific execution. Across systems, the best mean answer-unit accuracy is 84.65%, while the highest Strict@95 is only 34.81%. The gap shows that current agents often complete individual steps without maintaining a consistent chain across evidence, scales, units, calculations, and physical interpretation. EarthVerse provides a reproducible basis for measuring end-to-end scientific reliability in dynamic Earth systems.
- Abstract（参考訳）: 地球系分析は、ソース、スケール、タイミング、モダリティが異なる観測から、物理的プロセスの変更を再構成する。
不完全な証拠が重大さ、暴露、メカニズムの見積もりを変える可能性があるため、自然の危険によってこの作業は後回しになる。
我々は,包括的調査を通じて科学的エージェントを評価するベンチマークであるEarthVerseを紹介する。
再現可能な405のタスクは、199件の文書化されたイベントと19件のハザードファミリーで解決されている。
エージェントは異種イベントパッケージを検査し、互換性のあるエビデンスを選択し、透過的な計算を実行し、ソース差を調整し、最終回答で証明を保存する。
我々は,各タスクを細かな回答単位に分解し,複数の有効な経路を許容しながら,支援研究プロセスを評価するタスク固有のルーリックとともに実行可能基底真理を提供する。
制御されたツール利用プロトコルの下で25のモデルおよびエージェントシステムを評価し、その後、制御された研究を用いてエビデンスアクセス、ツール選択、メモリ、推論、インタラクション、科学的実行の障害を特定する。
システム全体では、平均回答ユニットの精度は84.65%であり、最も高いStrict@95は34.81%である。
このギャップは、現在のエージェントが証拠、スケール、単位、計算、物理的解釈を横断する一貫した連鎖を維持することなく、しばしば個々のステップを完了していることを示している。
EarthVerseは、ダイナミックアースシステムのエンドツーエンドの科学的信頼性を測定するための再現可能な基盤を提供する。
関連論文リスト
- TruthInsightBench: An Evidence-Grounded Benchmark for Automated Evaluation of Open-Ended Scientific Discovery Agents [11.367029696505357]
本稿では,発見のためのベンチマークであるTruthInsightBenchを紹介する。
10の科学領域にわたる40の査読された研究から引き出された40の盲目タスクは、中立的な科学的目的と凍結したデータのみを露呈する。
固定LDMベースの審査員は、6次元に沿ってエージェント自身のクレームの明らかな成熟度を評価する。
論文 参考訳（メタデータ） (2026-09-04T12:37:20Z) - Scaling Scientific Discovery Environments for Turn-Level Agentic RL [14.746461766950162]
本稿では,SciDiscoについて紹介する。SciDiscoはプロセス検証可能な環境におけるScientific Discoveryエージェントのトレーニングフレームワークである。
SciThqueは仮説、データセット、隠されたエビデンスグラフ、検証結果をタスク環境にコンパイルする。
実験によると、SciDisco-14Bは仮説駆動の科学データ分析ベンチマークで最先端に達する。
論文 参考訳（メタデータ） (2026-07-31T03:34:39Z) - TerraBench: Can Agents Reason Over Heterogeneous Earth-System Data? [32.95801052071361]
地球科学推論のためのベンチマークであるTerraBenchを紹介する。
この分野では、プロセスレベルのツール使用メトリクスと、寛容を意識した数値スコアとを合わせるのは、初めてのことだ。
ベンチマークは3つのトラックにまたがる403のエージェントタスクで構成されている。
論文 参考訳（メタデータ） (2026-06-11T10:26:03Z) - Science Earth: Towards A Planet-Scale Operating System for AI-Native Scientific Discovery [51.70607714288616]
サイエンスアース(Science Earth)は、惑星規模の科学ランタイムで、あらゆる能力が他のものと接続できる。
その基盤となるEACNプロトコルは、機能を相互に発見し、タスクのオーナシップを交渉し、互換性のない明示的な標準を越えて判断することを可能にする。
2つの実行は、構造的に異なる条件下でこれを検証します。
論文 参考訳（メタデータ） (2026-05-31T16:05:41Z) - CausaLab: A Scalable Environment for Interactive Causal Discovery Toward AI Scientists [28.253879252786632]
LLMエージェントによる対話的因果発見を評価するスケーラブルな環境であるCausaLabを紹介する。
以前の評価とは異なり、CausaLabは、エージェントが因果的証拠を用いて問題を解くことができるかどうか、そしてその答えが忠実に回復された因果的メカニズムに根ざされているかどうかを評価している。
論文 参考訳（メタデータ） (2026-05-25T16:57:06Z) - KISS - Knowledge Infrastructure for Scientific Simulation: A Scaffolding for Agentic Earth Science [9.554707285564593]
知識インフラストラクチャ(KI)は、専門知識を検証されたモデリング演算子に外部化する。
KIを搭載したエージェントは、最大84%の試験で、物理的に可算で検証可能なエンドツーエンドのシミュレーションを生み出した。
119個のKIの全体にわたって、決定のモデル化と失敗の是正は、基礎となる物理学が異なるにもかかわらず収束した。
論文 参考訳（メタデータ） (2026-05-18T04:57:25Z) - AI scientists produce results without reasoning scientifically [3.100302590436282]
大規模言語モデル(LLM)ベースのシステムは、科学的研究を自律的に行うためにますます多くデプロイされている。
そこで本研究では,8つの領域にまたがるLSMに基づく科学的エージェントの評価を行い,その実行と仮説に基づく調査を行った。
論文 参考訳（メタデータ） (2026-04-20T20:23:42Z) - Earth-Agent: Unlocking the Full Landscape of Earth Observation with Agents [49.3216026940601]
地球観測は、地球系の状態を理解するために不可欠である。
近年のMLLMは高度なEO研究を行っているが、多段階推論を必要とする複雑なタスクに対処する能力は乏しい。
我々は,MPPベースのツールエコシステム内でRGBとスペクトルEOデータを統一する最初のエージェントフレームワークであるEarth-Agentを紹介する。
論文 参考訳（メタデータ） (2025-09-27T06:04:28Z) - A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers [251.23085679210206]
科学大規模言語モデル(Sci-LLMs)は、科学研究において、知識の表現、統合、適用の方法を変えつつある。
この調査は、モデルとその基盤となるデータ基板の共進化として、Sci-LLMの開発を再考する。
我々は、科学的データの統一された分類法と、科学的知識の階層的なモデルを定式化する。
論文 参考訳（メタデータ） (2025-08-28T18:30:52Z) - A Self-Evolving AI Agent System for Climate Science [59.08800209508371]
我々は,地球科学者のためのインタラクティブな"コパイロット"として設計された,初の自己進化型AIエージェントシステムであるEarthLinkを紹介する。
自然言語のインタラクションを通じて、EarthLinkは、計画、コード実行、データ分析、物理的推論を統合することで、研究ワークフロー全体を自動化します。
人のような学際的な分析能力と習熟度を示し、中核的な大規模気候タスクのエキスパート評価においてジュニア研究者に匹敵する能力を示す。
論文 参考訳（メタデータ） (2025-07-23T08:29:25Z) - Causal Representation Learning in Temporal Data via Single-Parent Decoding [66.34294989334728]
科学的研究はしばしば、システム内の高レベル変数の根底にある因果構造を理解しようとする。
科学者は通常、地理的に分布した温度測定などの低レベルの測定を収集する。
そこで本研究では,単一親の復号化による因果発見法を提案し,その上で下位の潜伏者と因果グラフを同時に学習する。
論文 参考訳（メタデータ） (2024-10-09T15:57:50Z) - Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。
最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。
以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
論文 参考訳（メタデータ） (2024-05-27T13:26:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。