論文の概要: Forecasting Scientific Progress with Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2605.22681v1
- Date: Thu, 21 May 2026 16:23:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 20:14:18.605852
- Title: Forecasting Scientific Progress with Artificial Intelligence
- Title（参考訳）: 人工知能による科学の進歩予測
- Authors: Sean Wu, Pan Lu, Yupeng Chen, Jonathan Bragg, Yutaro Yamada, Peter Clark, David Clifton, Philip Torr, James Zou, Junchi Yu,
- Abstract要約: 我々は,AIシステムにおける科学的予測を,実現可能性評価,機械的推論,生成的ソリューション設計,時間的予測を通じて評価する。
4,760件の科学的イベントにおいて,現在のフロンティアモデルにおける体系的および領域依存的制約を観察した。
パフォーマンスはドメイン間で非常に均一であり、AIの進行のタイミングは生物学、化学、物理学の進歩よりも予測可能である。
- 参考スコア（独自算出の注目度）: 75.02347691513005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial intelligence (AI) is increasingly embedded in scientific discovery, yet whether it can anticipate scientific progress remains unclear. To study this question, we introduce a temporally grounded evaluation framework for forecasting scientific progress under controlled knowledge constraints. We present CUSP (Cutoff-conditioned Unseen Scientific Progress), a multi-disciplinary and event-level benchmark that evaluates scientific forecasting in AI systems through feasibility assessment, mechanistic reasoning, generative solution design, and temporal prediction. Across 4,760 scientific events, we observe systematic and domain-dependent limitations in current frontier models. While models can identify plausible research directions from competing candidates, they fail to reliably predict whether scientific advances will be realized and systematically misestimate when they will occur. Performance is highly heterogeneous across domains, with the timing of AI progress more predictable than advances in biology, chemistry, and physics. Performance is largely insensitive to whether events occur before or after the training cutoff, suggesting these limitations cannot be explained solely by knowledge exposure in training data. Under controlled information access, additional pre-cutoff knowledge improves performance but does not close the gap to full-information settings, which becomes more pronounced for high-citation advances. Models also exhibit systematic overconfidence and strong response biases, indicating unreliable uncertainty estimation. Taken together, current AI systems fall short as predictive tools for scientific progress. Access to prior knowledge does not translate into reliable forecasting, and performance benefits more from post-event information than from forward-looking prediction.
- Abstract（参考訳）: 人工知能(AI)は科学的な発見にますます浸透しているが、科学的進歩を予想できるかどうかは不明だ。
そこで本研究では,制御された知識制約下での科学的進歩を予測するための時間的基盤評価フレームワークを提案する。
提案するCUSP(Cutoff-conditioned Unseen Scientific Progress)は,AIシステムにおける科学的予測を,実現可能性評価,機械的推論,生成的ソリューション設計,時間的予測を通じて評価する,多分野・イベントレベルのベンチマークである。
4,760件の科学的イベントにおいて,現在のフロンティアモデルにおける体系的および領域依存的制約を観察した。
モデルは、競合する候補から妥当な研究方向を特定することができるが、科学的進歩がいつ実現するか、体系的に誤解されるかどうかを確実に予測することができない。
パフォーマンスはドメイン間で非常に均一であり、AIの進行のタイミングは生物学、化学、物理学の進歩よりも予測可能である。
パフォーマンスは、トレーニングのカットオフの前後でイベントが発生するかどうかに大きく敏感であり、トレーニングデータにおける知識の露出によってのみ説明できないことを示唆している。
制御された情報アクセスの下では、追加のカットオフ前の知識は性能を向上するが、完全な情報設定とのギャップを埋めることはない。
モデルは体系的な過信と強い応答バイアスを示し、信頼できない不確実性の推定を示す。
まとめると、現在のAIシステムは科学的進歩の予測ツールとして不足している。
事前知識へのアクセスは信頼性の高い予測には変換されない。
関連論文リスト
- EWE: An Agentic Framework for Extreme Weather Analysis [61.092871317626496]
Extreme Weather Expert (EWE)は、このタスクに特化した最初のインテリジェントエージェントフレームワークである。
EWEは、知識誘導計画、クローズドループ推論、およびドメイン調整された気象ツールキットを通じて、専門家の可視化をエミュレートする。
進展を触媒するため、我々は103のハイインパクトイベントをキュレートしたデータセットを含む、この新興分野の最初のベンチマークを紹介した。
論文 参考訳（メタデータ） (2025-11-26T14:37:25Z) - AI4X Roadmap: Artificial Intelligence for the advancement of scientific pursuit and its future directions [65.44445343399126]
我々は、生物学、化学、気候科学、数学、材料科学、物理学、自動運転研究所、非伝統的コンピューティングにまたがるAI可能な科学を考察する。
多様な信頼性のあるデータの必要性、伝達可能な電子構造と原子間モデル、AIシステムがエンドツーエンドの科学合成に統合される。
ドメイン全体にわたって、大規模な基礎モデル、アクティブラーニング、自動運転車研究所が、予測と検証の間のループを閉じる方法について強調する。
論文 参考訳（メタデータ） (2025-11-26T02:10:28Z) - The Need for Verification in AI-Driven Scientific Discovery [9.887965168376311]
機械学習と大規模言語モデルは、従来の手法をはるかに超えたスケールと速度で仮説を生成することができる。
検証のためのスケーラブルで信頼性の高いメカニズムがなければ、科学的進歩のリスクは先進的ではなく妨げられる、と我々は主張する。
論文 参考訳（メタデータ） (2025-09-01T11:50:04Z) - Probabilistic Artificial Intelligence [42.59649764999974]
インテリジェンスの主な側面は、予測を行うだけでなく、これらの予測の不確実性について推論し、決定を行うときにこの不確実性を考慮することである。
データ不足による「緊急的」不確実性と「アラート的」不確実性との区別について論じる。
論文 参考訳（メタデータ） (2025-02-07T14:29:07Z) - Revisiting the Efficacy of Signal Decomposition in AI-based Time Series Prediction [30.79648134300691]
時系列予測は科学探査における根本的な問題である。
我々は,AIに基づく時系列予測において,信号分解の有効性に疑問を呈する非無視的証拠を見出した。
論文 参考訳（メタデータ） (2024-05-11T10:59:56Z) - Towards an end-to-end artificial intelligence driven global weather forecasting system [57.5191940978886]
我々は,地球規模の気象変動に対するAIに基づくデータ同化モデル,すなわちAdasを提案する。
我々は,アダスが地球観測を同化して高品質な分析を行い,長期にわたって安定して運用できることを実証した。
この手法を現実のシナリオに適用するのは,私たちが初めてです。
論文 参考訳（メタデータ） (2023-12-18T09:05:28Z) - Uncertainty Quantification of Deep Learning for Spatiotemporal Data:
Challenges and Opportunities [8.23890319871992]
不確実性(UQ)は、ディープラーニングモデルの信頼性を推定することを目的としている。
本稿では,その特異な課題と既存手法を含む,深層学習の時間的データに対するUQの概要について述べる。
論文 参考訳（メタデータ） (2023-11-04T19:11:25Z) - Accelerating science with human-aware artificial intelligence [2.7786142348700658]
教師なしモデルのトレーニングにより、人間の専門知識の分布を取り入れることで、将来の発見のAI予測が劇的に向上する(最大400%)。
これらのモデルは、人間の予測とそれを作る科学者を予測することで成功します。
人間の発見を加速する、あるいはその盲点を探索するAIは、現代科学の最前線を行き来することを可能にする。
論文 参考訳（メタデータ） (2023-06-02T12:43:23Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-16T06:28:20Z) - Heterogeneous-Agent Trajectory Forecasting Incorporating Class
Uncertainty [54.88405167739227]
本稿では,エージェントのクラス確率を明示的に組み込んだヘテロジニアスエージェント軌道予測手法であるHAICUを提案する。
さらに,新たな挑戦的な実世界の自動運転データセットであるpupも紹介する。
軌道予測にクラス確率を組み込むことで,不確実性に直面した性能が著しく向上することを示す。
論文 参考訳（メタデータ） (2021-04-26T10:28:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。