論文の概要: AI Scientists Fail Without Strong Implementation Capability

• arxiv url: http://arxiv.org/abs/2506.01372v2
• Date: Mon, 09 Jun 2025 09:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 14:13:04.107598
• Title: AI Scientists Fail Without Strong Implementation Capability
• Title（参考訳）: 強力な実装能力のないAI科学者は失敗する
• Authors: Minjun Zhu, Qiujie Xie, Yixuan Weng, Jian Wu, Zhen Lin, Linyi Yang, Yue Zhang,
• Abstract要約: 人工知能(AI)科学者の出現は、科学的発見のパラダイムシフトを表している。 最近のAI Scientist研究は、独立した科学的発見のための十分な能力を示している。 この大きな進歩にもかかわらず、AI Scientistはコンピュータ科学の分野における画期的な成果をまだ生み出していない。
• 参考スコア（独自算出の注目度）: 33.232300349142285
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The emergence of Artificial Intelligence (AI) Scientist represents a paradigm shift in scientific discovery, with large language models (LLMs) taking the lead as the primary executor in the entire scientific workflow from idea generation to experiment implementation. Recent AI Scientist studies demonstrate sufficient capabilities for independent scientific discovery, with the generated research reports gaining acceptance at the ICLR 2025 workshop and ACL 2025, arguing that a human-level AI Scientist, capable of uncovering phenomena previously unknown to humans, may be imminent. Despite this substantial progress, AI Scientist has yet to produce a groundbreaking achievement in the domain of computer science on par with automated scientific tools. Based on extensive quantitative evidence from existing benchmarks in complex engineering tasks and a systematic evaluation assess 28 research papers generated by five advanced AI Scientist systems, we argue that \textbf{the fundamental bottleneck for AI Scientists lies in their capability to execute the requisite verification procedures.} Current AI Scientist systems lack the execution capabilities needed to execute rigorous experiments and produce high-quality scientific papers. To better illustrate the root cause of this \textbf{implementation gap}, we provide an in-depth discussion on the fundamental limitations of AI Scientist. This position paper aims to call for the participants in the community to bridge the implementation gap.
• Abstract（参考訳）: 人工知能(AI)の出現 科学者は科学的発見のパラダイムシフトを表しており、大きな言語モデル(LLM)がアイデア生成から実験的な実装に至るまで、科学ワークフロー全体において主要な実行元となっている。 最近のAI Scientist研究は、独立した科学的発見のための十分な能力を示しており、生成された研究報告は、ICLR 2025ワークショップとACL 2025で受け入れられている。 この大きな進歩にもかかわらず、AI Scientistは、自動化された科学ツールと同等のコンピューター科学分野における画期的な成果をまだ生み出していない。 複雑なエンジニアリングタスクにおける既存のベンチマークと、5つの先進的なAIサイエンティストシステムによって生成された28の研究論文の体系的評価に基づいて、AIサイエンティストにとっての基本的なボトルネックは、必要な検証手順を実行する能力にあると論じる。 最新のAIサイエンティストシステムは、厳格な実験を実行し、高品質な科学論文を作成するために必要な実行能力に欠けています。 この‘textbf{implementation gap}’の根本原因をより深く説明するために、AI Scientistの基本的限界について詳細に議論する。 このポジションペーパーは、コミュニティの参加者に実装ギャップを埋めるよう呼びかけることを目的としている。

関連論文リスト

• AI-Driven Automation Can Become the Foundation of Next-Era Science of Science Research [58.944125758758936]
  科学科学(Science of Science, SoS)は、科学的発見の基礎となるメカニズムを探求する。 人工知能(AI)の出現は、次世代のSoSに変革の機会をもたらす。 我々は、従来の手法よりもAIの利点を概説し、潜在的な制限について議論し、それらを克服するための経路を提案する。
  論文  参考訳（メタデータ） (2025-05-17T15:01:33Z)
• The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search [16.93028430619359]
  AI Scientist-v2は、AIが生成した最初のピアレビュー受け入れワークショップ用紙を生産できるエンドツーエンドのエージェントシステムである。 科学的な仮説を反復的に定式化し、実験を設計し、実行し、データを分析し、視覚化し、科学的な原稿を自律的に作成する。 ある写本は、平均的な人間の受け入れ閾値を超える十分なスコアを達成し、完全なAI生成論文がピアレビューをうまくナビゲートした最初の事例となった。
  論文  参考訳（メタデータ） (2025-04-10T18:44:41Z)
• Scaling Laws in Scientific Discovery with AI and Robot Scientists [72.3420699173245]
  自律的なジェネラリスト科学者(AGS)の概念は、エージェントAIとエンボディロボットを組み合わせて、研究ライフサイクル全体を自動化している。 AGSは科学的発見に必要な時間と資源を大幅に削減することを目指している。 これらの自律的なシステムが研究プロセスにますます統合されるにつれて、科学的な発見が新しいスケーリング法則に従うかもしれないという仮説を立てる。
  論文  参考訳（メタデータ） (2025-03-28T14:00:27Z)
• Unlocking the Potential of AI Researchers in Scientific Discovery: What Is Missing? [20.94708392671015]
  AI4Scienceの総出版物のシェアは2024年の3.57%から2050年までに約25%になると予想しています。 我々は,AI研究者を科学的発見の最前線に位置づける構造的かつ行動可能な戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:29:05Z)
• Towards Scientific Discovery with Generative AI: Progress, Opportunities, and Challenges [11.232704182001253]
  本稿では、科学的な課題に応用された大規模言語モデルやその他のAI技術の最近の進歩に注目し、科学的な発見のためのAIの現状について考察する。 そして、科学的な発見のためのより包括的なAIシステムの開発に向けた重要な課題と研究の方向性を概説する。
  論文  参考訳（メタデータ） (2024-12-16T03:52:20Z)
• The Future of Fundamental Science Led by Generative Closed-Loop Artificial Intelligence [67.70415658080121]
  機械学習とAIの最近の進歩は、技術革新、製品開発、社会全体を破壊している。 AIは、科学的な実践とモデル発見のための高品質なデータの大規模なデータセットへのアクセスがより困難であるため、基礎科学にはあまり貢献していない。 ここでは、科学的な発見に対するAI駆動、自動化、クローズドループアプローチの側面を調査し、調査する。
  論文  参考訳（メタデータ） (2023-07-09T21:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。