論文の概要: MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI

• arxiv url: http://arxiv.org/abs/2605.08678v1
• Date: Sat, 09 May 2026 04:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.807302
• Title: MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI
• Title（参考訳）: MLS-Bench: より良いAIを構築するためのAIシステムの全体的かつ厳密な評価
• Abstract要約: MLS-Benchは、AIシステムが一般化可能なスケーラブルなMLメソッドを発明できるかどうかを評価するためのベンチマークである。 本研究では, エージェントの探索性能に及ぼすテスト時間スケーリング, 適応型計算アロケーション, コンテキストプロビジョニングの影響について検討する。
• 参考スコア（独自算出の注目度）: 92.82821272460423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern AI progress has been driven by ML methods that are generalizable across settings and scalable to larger regimes. As large language models demonstrate advanced capabilities in reasoning, coding, and engineering tasks, it is increasingly important to understand whether they can discover such methods rather than only apply existing ones. We introduce MLS-Bench, a benchmark for evaluating whether AI systems can invent generalizable and scalable ML methods. MLS-Bench contains 140 tasks across 12 domains, each requiring an agent to improve one targeted component of an ML system or algorithm and demonstrate that the improvement generalizes across controlled settings and scales. We find that current agents remain far from reliably surpassing human-designed methods, and that engineering-style tuning is easier for them than genuine method invention. We further study the effects of test-time scaling, adaptive compute allocation, and context provision on agents' discovery performance, together with case studies of their behavior. Our analyses suggest that the bottleneck is not only in proposing new methods, but also in the scientific insight needed to plan, validate, and scale claims about them. More search, compute, or context alone does not remove this bottleneck. We build and maintain a community platform for cumulative and comparable iteration, and release the data and code at https://mls-bench.com.
• Abstract（参考訳）: 現代のAIの進歩は、設定にまたがって一般化可能で、より大きなレシフィケーションにスケーラブルなMLメソッドによって推進されている。 大規模言語モデルは、推論、コーディング、エンジニアリングタスクにおける高度な能力を示すため、既存のタスクのみを適用するのではなく、そのようなメソッドを発見できるかどうかを理解することがますます重要である。 MLS-Benchは、AIシステムが一般化可能なスケーラブルなMLメソッドを発明できるかどうかを評価するベンチマークである。 MLS-Benchには12ドメインにわたる140のタスクが含まれており、それぞれがMLシステムまたはアルゴリズムのターゲットコンポーネント1つを改善するためにエージェントを必要とし、改善が制御された設定とスケールにわたって一般化されることを実証している。 現在のエージェントは、人間が設計した手法を確実に超えるには程遠いものであり、エンジニアリングスタイルのチューニングは、真の手法の発明よりも容易である。 さらに,テスト時間スケーリング,適応型計算アロケーション,コンテキストプロビジョニングがエージェントの発見性能に及ぼす影響と,その行動のケーススタディについて検討する。 我々の分析は、ボトルネックは新たな手法の提案だけでなく、それらの主張を計画し、検証し、スケールするのに必要な科学的洞察においても重要であることを示唆している。 検索、計算、コンテキストの増大だけでは、このボトルネックは取り除かれません。 累積的かつ同等のイテレーションのためのコミュニティプラットフォームを構築し維持し、https://mls-bench.com.comでデータとコードをリリースします。

関連論文リスト

• FlowRL: A Taxonomy and Modular Framework for Reinforcement Learning with Diffusion Policies [51.53039275043005]
  本稿では,拡散/フローポリシを備えたアルゴリズムRLの包括的分類法を提案する。 Gym-Locomotion、DeepMind Control Suite、IsaacLabのベンチマークを提供しています。 私たちの研究は、理解とアルゴリズム設計の明確な基盤を確立します。
  論文  参考訳（メタデータ） (2026-03-29T00:02:50Z)
• Understanding the Challenges in Iterative Generative Optimization with LLMs [19.536425405805957]
  学習ループを設定するには、エンジニアが隠れた設計選択をしなければならない、と私たちは主張する。 本稿では,ほとんどの応用に影響を及ぼす3つの要因について検討する。 ドメイン間で学習ループを設定するためのシンプルで普遍的な方法がないことが、生産化と採用の大きなハードルである、と私たちは結論付けています。
  論文  参考訳（メタデータ） (2026-03-25T06:49:24Z)
• ML-Tool-Bench: Tool-Augmented Planning for ML Tasks [23.54937738755734]
  ツール強化機械学習エージェントの評価のためのベンチマークを導入する。 私たちのベンチマークは、インメモリ名のオブジェクト管理を組み込むことで、従来のツール使用の評価を超えています。 我々のアプローチはReActよりも16.2%向上し、すべてのKaggle課題の中央値を取ります。
  論文  参考訳（メタデータ） (2025-11-29T23:59:40Z)
• AI Agents as Universal Task Solvers [94.49762121230042]
  我々は,過去のデータを用いて,普遍的な解法が達成できる最適なスピードアップが,アルゴリズム情報と密接な関係があることを示す。 我々は、推論モデルをスケールする際に最適化する重要な量は時間であり、学習における重要な役割は、これまでは間接的にのみ考慮されてきたと論じている。
  論文  参考訳（メタデータ） (2025-10-14T02:17:54Z)
• Barbarians at the Gate: How AI is Upending Systems Research [58.95406995634148]
  システム研究は、新しいパフォーマンス指向アルゴリズムの設計と評価に長年注力してきたが、AI駆動のソリューション発見には特に適している、と私たちは主張する。 このアプローチをAI駆動システム研究(ADRS)と呼び、ソリューションを反復的に生成し、評価し、洗練する。 我々の研究結果は、AI時代のシステム研究の実践に急激な適応の必要性と破壊的な可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-10-07T17:49:24Z)
• Adaptive and Explainable AI Agents for Anomaly Detection in Critical IoT Infrastructure using LLM-Enhanced Contextual Reasoning [0.10742675209112619]
  この提案では,LLMをサポートするコンテキスト推論手法とXAIエージェントを使用して,IoT環境における異常の発見方法を改善することを提案する。 コードAIが透明性と解釈可能性を強調することはないため、人々はAIの決定を確認し、受け入れることができる。 この研究から、新しいアプローチは、精度と解釈の両方において、既存のほとんどのモデルよりもはるかに優れていることが判明した。
  論文  参考訳（メタデータ） (2025-10-04T16:12:45Z)
• Evaluating Large Language Models on Non-Code Software Engineering Tasks [4.381476817430934]
  大規模言語モデル(LLM)は、コード理解と生成において顕著な能力を示している。 ソフトウェア工学言語理解(SELU)と呼ばれる最初の包括的なベンチマークを提示する。 SELUは、分類、回帰、名前付きエンティティ認識(NER)とマスケッド言語モデリング(MLM)のターゲットをカバーし、さまざまなソースからデータを引き出す。
  論文  参考訳（メタデータ） (2025-06-12T15:52:32Z)
• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)
• ArchGym: An Open-Source Gymnasium for Machine Learning Assisted Architecture Design [52.57999109204569]
  ArchGymは、さまざまな検索アルゴリズムをアーキテクチャシミュレータに接続するオープンソースのフレームワークである。 我々は、カスタムメモリコントローラ、ディープニューラルネットワークアクセラレータ、AR/VRワークロード用のカスタムSOCを設計する際に、複数のバニラおよびドメイン固有の検索アルゴリズムにわたってArchGymを評価する。
  論文  参考訳（メタデータ） (2023-06-15T06:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。