論文の概要: Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?
- arxiv url: http://arxiv.org/abs/2610.28763v1
- Date: Tue, 20 Oct 2026 18:03:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.113118
- Title: Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?
- Title（参考訳）: 科学のためのMLの自動化:フロンティアエージェントは野生の科学の丘を登ることができるか?
- Abstract要約: Agent4Sciは、今日のエージェントが科学MLベンチマークで公表された最高のモデルをどのように改善できるかを測定するための長期テストベッドである。
Agent4Sciは、リーダーボードにエージェントをランク付けする代わりに、このタスクでどんなプログレッシブエージェントができるのかを尋ねる。
- 参考スコア（独自算出の注目度）: 47.508219948343616
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frontier coding agents are increasingly framed as end-to-end automated researchers, and ML for science offers a demanding test of that promise: improving a scientific model often requires domain insight beyond routine ML engineering. We introduce Agent4Sci, a long-horizon testbed for measuring how far today's agents can improve the published best models on scientific ML benchmarks, spanning 20 benchmarks across 11 domains. Rather than ranking agents on a leaderboard, Agent4Sci asks what kinds of progress agents can make on these tasks under in-the-wild conditions, and where they fall short. Empirically, today's frontier agents advance the published best on every benchmark, with Claude Opus reaching 10.4% mean relative improvement and no run flagged for academic misconduct. These gains, however, come almost entirely from a bag of ML-engineering tricks rather than research-level insight. Trajectory analysis surfaces three recurring limitations in this setting: novelty miscalibration, resource under-utilization, and rapid collapse into local engineering sweeps. Lightweight plug-in skills for research ideation, experiment management, and scheduled checklists raise Claude Opus from 10.4% to 20.1% and Codex from 4.4% to 8.1%, while yielding more diverse, domain-relevant interventions. Agent4Sci gives the community a way to track and push frontier agents from ML engineering toward domain insight on real-world ML-for-science problems. Code and data are available on GitHub (https://github.com/maszhongming/agent4sci) and Hugging Face (https://huggingface.co/datasets/MingZhong/agent4sci).
- Abstract（参考訳）: 最先端のコーディングエージェントは、エンドツーエンドの自動化研究者としてますますフレーム化され、科学のためのMLは、その約束を要求されるテストを提供する。
我々はAgent4Sciを紹介した。これは11つのドメインにまたがる20のベンチマークにまたがって、今日のエージェントが科学MLベンチマークで発行された最高のモデルをどのように改善できるかを測定するための長期テストベッドだ。
Agent4Sciは、リーダーボード上のエージェントをランク付けする代わりに、これらのタスクでどのようなプログレッシブエージェントができるのか、どのタスクが不足しているかを尋ねる。
実証的に、今日のフロンティア・エージェントは全てのベンチマークで最高の成績を上げ、クロード・オプスは10.4%に達した。
しかし、これらは研究レベルの洞察ではなく、MLエンジニアリングのトリックの袋から得られるものだ。
軌道解析は、この設定において3つの繰り返し発生する制限を表面化している: 新規性の誤校正、資源の過小評価、そして局所的なエンジニアリングスイープへの急激な崩壊である。
研究アイデア、実験管理、定期的なチェックリストのための軽量なプラグイン技術は、クロード・オプスを10.4%から20.1%に、コーデックスを4.4%から8.1%に引き上げた。
Agent4Sciはコミュニティに、MLエンジニアリングから現実のML-for-science問題に対するドメインインサイトへのフロンティアエージェントの追跡とプッシュを行う方法を提供する。
コードとデータはGitHub(https://github.com/maszhongming/agent4sci)とHugging Face(https://huggingface.co/datasets/MingZhong/agent4sci)で入手できる。
関連論文リスト
- ST-Bench: A Spatial-Temporal Benchmark for Multi-Agent System Generation on Scientific Research Tasks [57.60432600675319]
マルチエージェントシステムは,複雑な科学データ解析タスクにおいて単一エージェントよりも優れており,どのコストがかかるか,という2つの疑問に答えるために設計されたベンチマークであるST-Benchを紹介する。
我々は,GPT-5バックボーン上の単一エージェントベースラインに対して,最近の5つのMAS生成手法を評価する。
10のMAS構成のうち9つは最も安価なシングルエージェントベースラインを超えており、最も高いスコアは合成スコアの3倍である。
最も強い構成では、単一エージェントの推論時間の約4倍が必要であり、経済的なワークフローでは、利益の大部分を2倍以下のコストで取得する。
論文 参考訳（メタデータ） (2026-10-06T04:59:49Z) - Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills [86.15447717549154]
私たちは、スキルを創造し、研究中にそれらを使用する、スキル駆動型研究エージェントであるDisCoを紹介します。
私たちはこの欠落したレイヤの運用知識を、メソッドの知識を機能させるのと分離するノウハウと呼んでいる。
論文 参考訳（メタデータ） (2026-09-02T15:49:41Z) - MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI [92.82821272460423]
MLS-Benchは、AIシステムが一般化可能なスケーラブルなMLメソッドを発明できるかどうかを評価するためのベンチマークである。
本研究では, エージェントの探索性能に及ぼすテスト時間スケーリング, 適応型計算アロケーション, コンテキストプロビジョニングの影響について検討する。
論文 参考訳（メタデータ） (2026-05-09T04:29:46Z) - SciResearcher: Scaling Deep Research Agents for Frontier Scientific Reasoning [54.194672921128785]
我々は、フロンティア科学データ構築のための完全に自動化されたエージェントフレームワークであるSciResearcherを紹介する。
SciResearcherは、学術的証拠に基づく様々な概念的および計算的なタスクを合成する。
我々は,HLE-Bio/Chem-Goldベンチマークで19.46%を達成できるエージェント基盤モデルであるSciResearcher-8Bを開発した。
論文 参考訳（メタデータ） (2026-05-02T15:26:45Z) - AlphaLab: Autonomous Multi-Agent Research Across Optimization Domains with Frontier LLMs [14.167136550376497]
計算集約ドメインの完全な実験サイクルを自動化する自律的な研究ハーネスであるAlphaLabを紹介する。
ドメインに適応し、データを探索し、分析コードを書き、研究レポートを作成する。
Strategist/Workerループを通じて大規模な実験を実行し、永続的なプレイブックでドメイン知識を蓄積する。
論文 参考訳（メタデータ） (2026-03-31T21:16:20Z) - Agent-Driven Autonomous Reinforcement Learning Research: Iterative Policy Improvement for Quadruped Locomotion [14.484745002483258]
本稿では, エージェント駆動型自律強化学習研究における四足歩行のケーススタディについて述べる。
エージェントが実行ループの大部分を実行する間、人間はエージェントコーディング環境を通じて高レベルなディレクティブを提供した。
アイザック・ラボのDHAV1 12-DoFで、70以上の実験が14の波に編成され、初期の粗い地形の走行から7回ほどの平均的な報奨を得て、最高に記録された波動12回、exp063回、速度誤差0.263回と97%のタイムアウトを2000回以上行った。
論文 参考訳（メタデータ） (2026-03-28T21:30:04Z) - Agentic LMs: Hunting Down Test Smells [2.9845724723584452]
テストの臭いはテストスイートの信頼性を低下させ、メンテナンスを複雑にする。
本研究は, 比較的少人数のモデルを用いて, 試験臭の検出能力について検討した。
実世界のJavaプロジェクトの5つの一般的な臭いを150件以上のインスタンスで1つ、2つ、4つのエージェントで評価します。
論文 参考訳（メタデータ） (2025-04-09T21:12:01Z) - Attribution in Scientific Literature: New Benchmark and Methods [41.64918533152914]
大規模言語モデル(LLM)は、科学的コミュニケーションにおいて、自動ソース引用のための有望だが挑戦的なフロンティアを提供する。
本稿では、arXivから12の科学領域にまたがる文レベルのアノテーションを備えた新しいデータセットREASONSを紹介する。
我々は、GPT-O1、GPT-4O、GPT-3.5、DeepSeekなどのモデルや、Perplexity AI (7B)のような他の小さなモデルで広範な実験を行う。
論文 参考訳（メタデータ） (2024-05-03T16:38:51Z) - MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。
各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。
我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
論文 参考訳（メタデータ） (2023-10-05T04:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。