論文の概要: AutoSOTA: An End-to-End Automated Research System for State-of-the-Art AI Model Discovery
- arxiv url: http://arxiv.org/abs/2604.05550v1
- Date: Tue, 07 Apr 2026 07:52:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.702513
- Title: AutoSOTA: An End-to-End Automated Research System for State-of-the-Art AI Model Discovery
- Title(参考訳): AutoSOTA:最先端AIモデル発見のためのエンドツーエンド自動研究システム
- Abstract要約: AutoSOTAは、トップレベルのAI論文で発表された最新のState-Of-The-Art(SOTA)モデルを進化させるエンドツーエンドの自動研究システムである。
報告された方法を超える新しい105種類のSOTAモデルを発見し、平均して1紙あたり平均5時間である。
- 参考スコア(独自算出の注目度): 49.77172027295716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence research increasingly depends on prolonged cycles of reproduction, debugging, and iterative refinement to achieve State-Of-The-Art (SOTA) performance, creating a growing need for systems that can accelerate the full pipeline of empirical model optimization. In this work, we introduce AutoSOTA, an end-to-end automated research system that advances the latest SOTA models published in top-tier AI papers to reproducible and empirically improved new SOTA models. We formulate this problem through three tightly coupled stages: resource preparation and goal setting; experiment evaluation; and reflection and ideation. To tackle this problem, AutoSOTA adopts a multi-agent architecture with eight specialized agents that collaboratively ground papers to code and dependencies, initialize and repair execution environments, track long-horizon experiments, generate and schedule optimization ideas, and supervise validity to avoid spurious gains. We evaluate AutoSOTA on recent research papers collected from eight top-tier AI conferences under filters for code availability and execution cost. Across these papers, AutoSOTA achieves strong end-to-end performance in both automated replication and subsequent optimization. Specifically, it successfully discovers 105 new SOTA models that surpass the original reported methods, averaging approximately five hours per paper. Case studies spanning LLM, NLP, computer vision, time series, and optimization further show that the system can move beyond routine hyperparameter tuning to identify architectural innovation, algorithmic redesigns, and workflow-level improvements. These results suggest that end-to-end research automation can serve not only as a performance optimizer, but also as a new form of research infrastructure that reduces repetitive experimental burden and helps redirect human attention toward higher-level scientific creativity.
- Abstract(参考訳): 人工知能の研究は、ステートオフ・ザ・アート(SOTA)のパフォーマンスを達成するために、再現、デバッグ、反復的な改善のサイクルの長いサイクルにますます依存しており、経験的モデルの最適化の完全なパイプラインを加速できるシステムの必要性が高まっている。
本稿では,上位階層のAI論文で発表された最新のSOTAモデルを再現可能かつ実証的に改良した新しいSOTAモデルに進化させる,エンドツーエンドの自動研究システムであるAutoSOTAを紹介する。
我々は、資源準備と目標設定、実験評価、リフレクションとアイデアの3つの密結合した段階を通してこの問題を定式化する。
この問題に対処するため、AutoSOTAは8つの専門エージェントを備えたマルチエージェントアーキテクチャを採用し、文書をコードと依存関係に共同で構築し、実行環境を初期化し、修復し、長距離実験を追跡し、最適化のアイデアを生成およびスケジュールし、素早い利得を避けるために妥当性を監督する。
我々は、コード可用性と実行コストのフィルタの下で、上位8つのAIカンファレンスから収集された最近の研究論文についてAutoSOTAを評価した。
これらの論文全体で、AutoSOTAは自動レプリケーションとその後の最適化の両方において、エンドツーエンドのパフォーマンスを強力に達成している。
具体的には、最初に報告された方法を超える新しい105種類のSOTAモデルを発見し、平均して1紙あたり平均5時間である。
LLM、NLP、コンピュータビジョン、時系列、最適化にまたがるケーススタディは、システムがアーキテクチャの革新、アルゴリズムの再設計、ワークフローレベルの改善を識別するために、通常のハイパーパラメータチューニングを超えることができることを示している。
これらの結果から, エンド・ツー・エンドの研究自動化は, 性能最適化だけでなく, 反復的な実験負荷を低減し, 高いレベルの科学的創造性に人間の注意を向ける新たな研究基盤として機能する可能性が示唆された。
関連論文リスト
- AI-Driven Research for Databases [46.766852032419116]
AI駆動システム研究(AI-Driven Research for Systems)と呼ばれる新しいタイプの技術は、大規模な言語モデルを使用してソリューション発見を自動化する。
このアプローチは、最適化を手動のシステム設計から自動コード生成にシフトさせる。
提案手法は,提案手法と組み合わせて評価器の設計を自動化するものである。
論文 参考訳(メタデータ) (2026-04-08T01:34:11Z) - AI Co-Scientist for Ranking: Discovering Novel Search Ranking Models alongside LLM-based AI Agents with Cloud Computing Access [60.37646376282544]
本稿では,全検索ランキング研究パイプラインを自動化したAI共同科学者フレームワークを提案する。
これは、AIの共同科学者フレームワークをアルゴリズム研究に利用した、ランキングコミュニティで初めての研究である。
論文 参考訳(メタデータ) (2026-03-23T09:29:08Z) - EmboCoach-Bench: Benchmarking AI Agents on Developing Embodied Robots [68.29056647487519]
Embodied AIは、高忠実度シミュレーションと大規模データ収集によって実現されている。
しかし、このスケーリング能力は、労働集約的な手作業の監視に依存しているため、いまだにボトルネックになっている。
実装ポリシーを自律的に構築するための LLM エージェントの能力を評価するベンチマークである textscEmboCoach-Bench を紹介する。
論文 参考訳(メタデータ) (2026-01-29T11:33:49Z) - ROAD: Reflective Optimization via Automated Debugging for Zero-Shot Agent Alignment [1.6968020497268546]
ROADは、最適化を検索ではなく動的デバッグ調査として扱う新しいフレームワークである。
道路はサンプリング効率が高く、成功率は5.6%、検索精度は3.8%向上している。
これらの結果は、ヒューマンエンジニアリングの失敗分析とパッチングのループを模倣することで、リソース集約的なトレーニングに代わる、実行可能なデータ効率の代替が可能になることを示唆している。
論文 参考訳(メタデータ) (2025-12-30T07:31:34Z) - Let the Barbarians In: How AI Can Accelerate Systems Performance Research [80.43506848683633]
我々は、この繰り返しサイクルを、AI駆動システム研究の生成、評価、洗練のサイクルと呼ぶ。
我々はADRSが生成するソリューションが人間の最先端の設計に適合し、さらに優れることを示した。
論文 参考訳(メタデータ) (2025-12-16T18:51:23Z) - AutoMaAS: Self-Evolving Multi-Agent Architecture Search for Large Language Models [4.720605681761044]
AutoMaASは自己進化型マルチエージェントアーキテクチャ検索フレームワークである。
ニューラルネットワーク検索の原則を使用して、最適なエージェント構成を自動的に検出する。
1.0-7.1%の性能向上を実現し、最先端の手法と比較して推論コストを3~5%削減する。
論文 参考訳(メタデータ) (2025-10-03T01:57:07Z) - AutoMind: Adaptive Knowledgeable Agent for Automated Data Science [70.33796196103499]
LLM(Large Language Model)エージェントは、現実世界のデータサイエンス問題に対処する大きな可能性を示している。
既存のフレームワークは、厳格で、事前定義された、柔軟性のないコーディング戦略に依存している。
適応的で知識のあるLLMエージェントフレームワークであるAutoMindを紹介する。
論文 参考訳(メタデータ) (2025-06-12T17:59:32Z) - ResearchCodeAgent: An LLM Multi-Agent System for Automated Codification of Research Methodologies [16.90884865239373]
本研究では,研究方法論の体系化を自動化する新しいマルチエージェントシステムであるResearchCodeAgentを紹介する。
このシステムは、ハイレベルな研究概念と実践的な実装のギャップを埋める。
ResearchCodeAgentは、研究実施プロセスに向けた重要なステップであり、機械学習研究のペースを加速する可能性がある。
論文 参考訳(メタデータ) (2025-04-28T07:18:45Z) - Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。
ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。
実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
論文 参考訳(メタデータ) (2025-03-16T00:25:13Z) - A Multi-AI Agent System for Autonomous Optimization of Agentic AI Solutions via Iterative Refinement and LLM-Driven Feedback Loops [3.729242965449096]
本稿では,産業間におけるエージェントAIソリューションを自律的に最適化するフレームワークを提案する。
このフレームワークは、仮説を自律的に生成し、テストすることで、人間の入力なしに最適な性能を達成する。
ケーススタディでは、アウトプットの品質、妥当性、動作性が大幅に改善された。
論文 参考訳(メタデータ) (2024-12-22T20:08:04Z) - Automating Traffic Model Enhancement with AI Research Agent [4.420199777075044]
TR-Agentは、交通モデルを自律的に開発、洗練するAI駆動のフレームワークである。
我々は,研究パイプラインを,アイデア生成,理論定式化,理論評価,反復最適化の4つの重要な段階に構成する。
反復的なフィードバックと改善により、TR-Agentはモデリング効率と効率の両方を改善している。
論文 参考訳(メタデータ) (2024-09-25T12:42:25Z) - System for systematic literature review using multiple AI agents: Concept and an empirical evaluation [3.453564255183234]
体系的文献レビュー(SLR)は証拠に基づく研究の基礎である。
本稿では,SLRの完全自動化を目的とした新しいマルチAIエージェントシステムを提案する。
包括性と精度を維持しつつ,従来のSLRに必要な時間と労力を大幅に削減できることを示す。
論文 参考訳(メタデータ) (2024-03-13T10:27:52Z) - AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
AutoActはQAのための自動エージェント学習フレームワークである。
大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
論文 参考訳(メタデータ) (2024-01-10T16:57:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。