論文の概要: Autonomous Research for Open-Ended Problems: A Case Study on Telecom Ticket Retrieval
- arxiv url: http://arxiv.org/abs/2609.13073v1
- Date: Fri, 11 Sep 2026 17:09:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.8228
- Title: Autonomous Research for Open-Ended Problems: A Case Study on Telecom Ticket Retrieval
- Title（参考訳）: オープンエンディング問題に対する自律的研究:テレコムチケット検索を事例として
- Abstract要約: オープンエンドの業界レベルの機械学習問題を解決するために、自律的な研究がどのように適応できるかを示す。
人間の監督が最小限であっても、自律的な研究は最先端のパフォーマンスの90%を達成できる。
- 参考スコア（独自算出の注目度）: 0.5684057370781513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent breakthroughs in LLM-based systems and their abilities in problem solving and coding have allowed progress in the AI for Science paradigm, potentially replacing human roles in machine learning (ML) research. However, while several frameworks of fully autonomous end-to-end ML research have been proposed, successful implementations of them are often limited to problems with narrow search spaces, like language modeling or biomedical ML benchmarks. In this paper, we explore how autonomous research can be adapted to solve open-ended, industry-grade ML problems, by considering a case study: telecom ticket retrieval, an open-ended task with degrees of freedom in representation, architecture, and training data generation. We discover that autonomous research for open-ended problems with commercial and open-source agents shows both promise and limitations: while autonomous research can excel in narrow hyperparameter optimization, it lacks human-like intuition and creativity and requires operational overhead. Even with minimal human supervision, autonomous research can reach $90\%$ of state-of-the-art performance (0.34 vs. 0.38 Recall@1) in a much shorter time period (10 weeks vs. 10 months of human work) at a modest cost (up to \$200 per Cursor campaign). Our empirical evidence recommends that human researchers and autonomous research frameworks work together for best results in ML research.
- Abstract（参考訳）: LLMベースのシステムの最近のブレークスルーと問題解決とコーディングの能力は、AI for Scienceパラダイムの進歩を可能にし、機械学習(ML)研究における人間の役割を置き換える可能性がある。
しかしながら、完全に自律的なエンドツーエンドのML研究のいくつかのフレームワークが提案されているが、言語モデリングやバイオメディカルMLベンチマークなど、狭い検索空間の問題に制限されることが多い。
本稿では、遠隔チケット検索、表現の自由度自由度、アーキテクチャ、トレーニングデータ生成といったケーススタディを考慮し、オープンエンドな業界レベルのML問題を解決するために自律的な研究をどのように適用できるかを考察する。
私たちは、商用およびオープンソースエージェントによるオープンエンドの問題に対する自律的な研究は、約束と制限の両方を示していることを発見しました。
人間の監督が最小限であっても、自律的な研究は最先端のパフォーマンス(0.34対0.38リコール@1)の90\%を、より短い期間(10週間対10ヶ月の人間労働)で、控えめなコスト(カーソルのキャンペーンあたり最大200ドルまで)で達成することができる。
私たちの実証的な証拠は、人間の研究者と自律的な研究フレームワークがML研究の最良の結果のために協力することを推奨しています。
関連論文リスト
- Act As a Real Researcher: A Suite of Benchmarks Evaluating Frontier LLMs and Agentic Harnesses in Research Lifecycle [16.040691949938203]
AARR(Act as a Real Researcher)ベンチマークシリーズを提案する。
AARRは、エージェントが人間の研究者を特徴づけるプロフェッショナル主義、徹底性、ニュアンスな推論をエミュレートできるかどうかに焦点を当てている。
我々の研究結果は、研究者のようなAIを開発するには、さらなる研究行動の探索が必要であることを示唆している。
論文 参考訳（メタデータ） (2026-06-05T17:13:36Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。
エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。
最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
論文 参考訳（メタデータ） (2026-04-28T06:05:17Z) - HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery [15.29303145822579]
本稿では,実証研究自動化を支援するマルチエージェントアーキテクチャであるHLER(Human-in-the-Loop Economic Research)を紹介する。
このシステムは、データ監査、データプロファイリング、仮説生成、計量分析、原稿起草、自動レビューのための特殊エージェントを編成する。
実験の結果、データセットを意識した仮説生成は87%のケースで実現可能な研究質問を生成する一方、完全な実証的な原稿は1ラン当たり0.8～1.5ドルの平均APIコストで作成できることがわかった。
論文 参考訳（メタデータ） (2026-03-08T03:40:34Z) - SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。
実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。
回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
論文 参考訳（メタデータ） (2025-11-29T09:18:39Z) - FML-bench: A Benchmark for Automatic ML Research Agents Highlighting the Importance of Exploration Breadth [43.606494515048524]
大規模言語モデル(LLM)は、自動機械学習研究エージェントへの関心が高まっている。
既存のベンチマークは、学術的な厳格さを無視しながら、エンジニアリングの側面を過度に強調する傾向がある。
FML-benchは、機械学習の自動研究エージェントを、多種多様な8つの基礎的な機械学習研究問題に対して評価するために設計されたベンチマークである。
論文 参考訳（メタデータ） (2025-10-12T06:41:05Z) - Barbarians at the Gate: How AI is Upending Systems Research [58.95406995634148]
システム研究は、新しいパフォーマンス指向アルゴリズムの設計と評価に長年注力してきたが、AI駆動のソリューション発見には特に適している、と私たちは主張する。
このアプローチをAI駆動システム研究(ADRS)と呼び、ソリューションを反復的に生成し、評価し、洗練する。
我々の研究結果は、AI時代のシステム研究の実践に急激な適応の必要性と破壊的な可能性を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-10-07T17:49:24Z) - MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? [66.87201770167012]
MLRC-Benchは、機械学習(ML)リサーチコンペティションの挑戦において、言語エージェントがいかに効果的に対処できるかを定量化するために設計されたベンチマークである。
MLRC-Benchは以前の研究とは異なり、新しい研究手法を提案し、実装する上で重要なステップを計測する。
最も優れた試験薬でさえ、ベースラインとトップヒューマンのスコアの差の9.3%しか閉じていない。
論文 参考訳（メタデータ） (2025-04-13T19:35:43Z) - MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。
これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。
我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
論文 参考訳（メタデータ） (2025-02-20T12:28:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。