論文の概要: Bilevel Autoresearch: Meta-Autoresearching Itself

• arxiv url: http://arxiv.org/abs/2603.23420v1
• Date: Tue, 24 Mar 2026 16:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.596766
• Title: Bilevel Autoresearch: Meta-Autoresearching Itself
• Title（参考訳）: Bilevel Autoresearch: Meta-Autoresearching Itself
• Authors: Yaonan Qu, Meng Lu,
• Abstract要約: 本稿では、外部ループが内部オート検索ループをメタ最適化するバイレベルフレームワークであるBilevel Autoresearchを紹介する。 KarpathyのGPT事前トレーニングベンチマークでは、メタオート検索の外ループは標準のインナーループのみよりも5倍改善されている。
• 参考スコア（独自算出の注目度）: 5.9494888521740075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: If autoresearch is itself a form of research, then autoresearch can be applied to research itself. We take this idea literally: we use an autoresearch loop to optimize the autoresearch loop. Every existing autoresearch system -- from Karpathy's single-track loop to AutoResearchClaw's multi-batch extension and EvoScientist's persistent memory -- was improved by a human who read the code, identified a bottleneck, and wrote new code. We ask whether an LLM can do the same, autonomously. We present Bilevel Autoresearch, a bilevel framework where an outer loop meta-optimizes the inner autoresearch loop by generating and injecting new search mechanisms as Python code at runtime. The inner loop optimizes the task; the outer loop optimizes how the inner loop searches. Both loops use the same LLM -- no stronger model is needed at the meta level. On Karpathy's GPT pretraining benchmark, the meta-autoresearch outer loop achieves a 5x improvement over the standard inner loop alone (-0.045 vs. -0.009 val_bpb), while parameter-level adjustment without mechanism change yields no reliable gain. The outer loop autonomously discovers mechanisms from combinatorial optimization, multi-armed bandits, and design of experiments -- without human specification of which domains to explore. These mechanisms succeed by breaking the inner loop's deterministic search patterns, forcing exploration of directions the LLM's priors systematically avoid. The core principle is simple: if autoresearch can meta-autoresearch itself, it can, in principle, meta-autoresearch anything with a measurable objective.
• Abstract（参考訳）: オートリサーチ自体が研究の形式であるなら、オートリサーチは研究そのものに適用できる。 私たちは、オート検索ループを最適化するためにオート検索ループを使用します。 KarpathyのシングルトラックループからAutoResearchClawのマルチバッチ拡張、EvoScientistの永続メモリに至るまで、既存のすべての自動検索システムは、コードを読み、ボトルネックを特定し、新しいコードを書いた人間によって改善された。 LLMが自律的に同じことができるかどうかを問う。 実行時にPythonコードとして新しい検索機構を生成・注入することにより、外部ループが内部オート検索ループをメタ最適化するバイレベルフレームワークであるBilevel Autoresearchを提案する。 内ループはタスクを最適化し、外ループは内部ループの探索方法を最適化する。 どちらのループもLLMと同じで、メタレベルでは強力なモデルを必要としない。 KarpathyのGPT事前トレーニングベンチマークでは、メタオート検索の外ループは標準のインナーループのみ(-0.045 vs. -0.009 val_bpb)よりも5倍改善されている。 外部ループは、組み合わせ最適化、多武装のバンディット、実験の設計から自律的にメカニズムを発見します。 これらのメカニズムは、内部ループの決定論的探索パターンを破り、LSMの先行する方向を体系的に避けることに成功している。 オートリサーチがメタオートリサーベイ自体を可能ならば、原則として、測定可能な目的を持ったメタオートリサーベイが可能である。

関連論文リスト

• LLM-First Search: Self-Guided Exploration of the Solution Space [29.780554400938335]
  大規模言語モデル(LLM)は、テスト時間計算の増加による推論と計画の大幅な改善を示している。 我々は,新しいTextitLLM Self-Guided Search法である textbfLLM-First Search (LFS) を提案する。
  論文  参考訳（メタデータ） (2025-06-05T16:27:49Z)
• Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning [50.419872452397684]
  Search-R1は推論フレームワークのための強化学習の拡張である。 リアルタイム検索とステップバイステップ推論の間に検索クエリを生成する。 性能は41%(Qwen2.5-7B)、20%(Qwen2.5-3B)で改善されている。
  論文  参考訳（メタデータ） (2025-03-12T16:26:39Z)
• Planning In Natural Language Improves LLM Search For Code Generation [5.370466208990696]
  自然言語における問題解決のための新しい探索アルゴリズムであるPlanSearchを提案する。 PlanSearchはHumanEval+、MBPP+、LiveCodeBenchで強力な結果を示している。 すべてのモデル、検索アルゴリズム、および分析されたベンチマークにおいて、検索によるパフォーマンス向上を正確に予測できることが示される。
  論文  参考訳（メタデータ） (2024-09-05T17:44:49Z)
• Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
  大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。 我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
  論文  参考訳（メタデータ） (2023-10-14T14:14:38Z)
• Unified Functional Hashing in Automatic Machine Learning [58.77232199682271]
  高速に統一された関数型ハッシュを用いることで,大きな効率向上が得られることを示す。 私たちのハッシュは"機能的"であり、表現やコードが異なる場合でも同等の候補を識別します。 ニューラルアーキテクチャ検索やアルゴリズム発見など、複数のAutoMLドメインで劇的な改善がなされている。
  論文  参考訳（メタデータ） (2023-02-10T18:50:37Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Customized Monte Carlo Tree Search for LLVM/Polly's Composable Loop Optimization Transformations [0.8312466807725921]
  我々は、ループ変換の最良の組み合わせを見つけるために、モンテカルロ木探索(MCTS)に基づく探索アルゴリズムを開発しました。 実験の結果,我々のmctsアルゴリズムは,pollyの最適化よりも2.3倍の高速化でpragmaの組み合わせを見出した。
  論文  参考訳（メタデータ） (2021-05-10T21:57:39Z)
• PyGlove: Symbolic Programming for Automated Machine Learning [88.15565138144042]
  シンボリックプログラミングに基づくAutoMLの新しいプログラミング方法を紹介します。 このパラダイムでは、MLプログラムは変更可能であるため、他のプログラムで簡単に操作できます。 PyGloveユーザーは、静的プログラムを検索空間に簡単に変換し、検索空間と検索アルゴリズムをすばやく繰り返し、複雑な検索フローを作成できることを示しています。
  論文  参考訳（メタデータ） (2021-01-21T19:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。