論文の概要: AI Co-Scientist for Ranking: Discovering Novel Search Ranking Models alongside LLM-based AI Agents with Cloud Computing Access
- arxiv url: http://arxiv.org/abs/2603.22376v1
- Date: Mon, 23 Mar 2026 09:29:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 19:53:37.109473
- Title: AI Co-Scientist for Ranking: Discovering Novel Search Ranking Models alongside LLM-based AI Agents with Cloud Computing Access
- Title（参考訳）: ランク付けのためのAIの共同科学者:クラウドコンピューティングアクセスを備えたLLMベースのAIエージェントと一緒に新しい検索ランク付けモデルを発見する
- Authors: Liwei Wu, Cho-Jui Hsieh,
- Abstract要約: 本稿では,全検索ランキング研究パイプラインを自動化したAI共同科学者フレームワークを提案する。
これは、AIの共同科学者フレームワークをアルゴリズム研究に利用した、ランキングコミュニティで初めての研究である。
- 参考スコア（独自算出の注目度）: 60.37646376282544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in AI agents for software engineering and scientific discovery have demonstrated remarkable capabilities, yet their application to developing novel ranking models in commercial search engines remains unexplored. In this paper, we present an AI Co-Scientist framework that automates the full search ranking research pipeline: from idea generation to code implementation and GPU training job scheduling with expert in the loop. Our approach strategically employs single-LLM agents for routine tasks while leveraging multi-LLM consensus agents (GPT 5.2, Gemini Pro 3, and Claude Opus 4.5) for challenging phases such as results analysis and idea generation. To our knowledge, this is the first study in the ranking community to utilize an AI Co-Scientist framework for algorithmic research. We demonstrate that this framework discovered a novel technique for handling sequence features, with all model enhancements produced automatically, yielding substantial offline performance improvements. Our findings suggest that AI systems can discover ranking architectures comparable to those developed by human experts while significantly reducing routine research workloads.
- Abstract（参考訳）: ソフトウェア工学と科学的発見のためのAIエージェントの最近の進歩は、目覚ましい能力を示しているが、商用検索エンジンにおける新しいランキングモデルの開発への応用は、まだ明らかになっていない。
本稿では、アイデア生成からコード実装までの完全な検索ランキング研究パイプラインを自動化するAI共同科学者フレームワークと、ループの専門家によるGPUトレーニングジョブスケジューリングを提案する。
提案手法では,複数LLMコンセンサスエージェント(GPT 5.2, Gemini Pro 3, Claude Opus 4.5)を,結果分析やアイデア生成といった課題に活用しながら,ルーチンタスクに単一LLMエージェントを戦略的に活用する。
私たちの知る限り、アルゴリズム研究にAIコサイディストフレームワークを利用するのは、ランキングコミュニティで初めての研究です。
このフレームワークがシーケンス機能を扱う新しい手法を発見し、すべてのモデル拡張が自動的に生成され、オフライン性能が大幅に向上したことを実証した。
我々の研究結果は、AIシステムが人間の専門家が開発し、日常的な研究作業を大幅に削減しながら、ランキングアーキテクチャを発見できることを示唆している。
関連論文リスト
- AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。
Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。
本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
論文 参考訳（メタデータ） (2026-02-06T16:45:02Z) - The AI Roles Continuum: Blurring the Boundary Between Research and Engineering [0.0]
本稿では,研究科学者,研究技術者,応用科学者,機械学習技術者が,個別のカテゴリーではなく重複する位置を占める枠組みを提案する。
分散システム設計、大規模トレーニングと最適化、厳密な実験、出版志向の探求といった中核的な能力が、今やタイトル間で広く共有されていることを示す。
サイロ化ではなく流体としての役割を扱うことは、研究から生産までのループを短縮し、イテレーションのベロシティを改善し、組織的な学習を強化する。
論文 参考訳（メタデータ） (2025-12-31T05:00:58Z) - AI Research Agents for Machine Learning: Search, Exploration, and Generalization in MLE-bench [76.23945148787051]
我々は、AI研究エージェントを候補ソリューションの空間をナビゲートする検索ポリシーとして形式化し、演算子を使ってそれらを反復的に修正する。
我々の最良の探索戦略と演算子の組み合わせは、MLEベンチライトの最先端の成果を達成し、カグルメダルを39.6%から47.7%に引き上げることに成功した。
論文 参考訳（メタデータ） (2025-07-03T11:59:15Z) - MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。
これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。
我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
論文 参考訳（メタデータ） (2025-02-20T12:28:23Z) - ML Research Benchmark [0.0]
MLRB(ML Research Benchmark)は,最近の機械学習カンファレンスのトラックから派生した7つの競合レベルタスクからなる。
本稿では,Claude-3 や GPT-4o などのフロンティアモデルを用いたエージェント足場を用いて,新しいベンチマークを提案し,評価する。
結果は、Claude-3.5 Sonnetエージェントがベンチマーク全体で最高のパフォーマンスを示し、機械学習モデルの設計と開発に優れていたことを示唆している。
論文 参考訳（メタデータ） (2024-10-29T21:38:42Z) - Automated Design of Agentic Systems [5.404186221463082]
本稿では,エージェントシステム設計を自動生成することを目的とした,エージェントシステム自動設計(ADAS)という新たな研究領域について述べる。
我々のアルゴリズムは、最先端の手作りエージェントを大幅に上回る斬新なデザインでエージェントを段階的に発明できることが示される。
論文 参考訳（メタデータ） (2024-08-15T21:59:23Z) - System for systematic literature review using multiple AI agents: Concept and an empirical evaluation [3.453564255183234]
体系的文献レビュー(SLR)は証拠に基づく研究の基礎である。
本稿では,SLRの完全自動化を目的とした新しいマルチAIエージェントシステムを提案する。
包括性と精度を維持しつつ,従来のSLRに必要な時間と労力を大幅に削減できることを示す。
論文 参考訳（メタデータ） (2024-03-13T10:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。