論文の概要: Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch

• arxiv url: http://arxiv.org/abs/2603.24647v1
• Date: Wed, 25 Mar 2026 17:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:47.911025
• Title: Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch
• Title（参考訳）: LLMは古典的ハイパーパラメータ最適化アルゴリズムに勝てるか?
• Authors: Fabio Ferreira, Lucca Wobbe, Arjun Krishnakumar, Frank Hutter, Arber Zela,
• Abstract要約: テストベッドとしてemphautoresearchを用い,従来のHPOアルゴリズムとLCM法との比較を行った。 平均ベクトル,ステップサイズ,共分散行列を含むCMA-ESの内部状態を共有するハイブリッドであるCentaurを紹介する。 Centaurは実験で最高の結果を得ることができ、0.8Bの変種は27Bの変種よりも優れていた。
• 参考スコア（独自算出の注目度）: 42.242102214102566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The autoresearch repository enables an LLM agent to search for optimal hyperparameter configurations on an unconstrained search space by editing the training code directly. Given a fixed compute budget and constraints, we use \emph{autoresearch} as a testbed to compare classical hyperparameter optimization (HPO) algorithms against LLM-based methods on tuning the hyperparameters of a small language model. Within a fixed hyperparameter search space, classical HPO methods such as CMA-ES and TPE consistently outperform LLM-based agents. However, an LLM agent that directly edits training source code in an unconstrained search space narrows the gap to classical methods substantially despite using only a self-hosted open-weight 27B model. Methods that avoid out-of-memory failures outperform those with higher search diversity, suggesting that reliability matters more than exploration breadth. While small and mid-sized LLMs struggle to track optimization state across trials, classical methods lack domain knowledge. To bridge this gap, we introduce Centaur, a hybrid that shares CMA-ES's internal state, including mean vector, step-size, and covariance matrix, with an LLM. Centaur achieves the best result in our experiments, with its 0.8B variant outperforming the 27B variant, suggesting that a cheap LLM suffices when paired with a strong classical optimizer. The 0.8B model is insufficient for unconstrained code editing but sufficient for hybrid optimization, while scaling to 27B provides no advantage for fixed search space methods with the open-weight models tested. Code is available at https://github.com/ferreirafabio/autoresearch-automl.
• Abstract（参考訳）: オート検索レポジトリは、トレーニングコードを直接編集することにより、LLMエージェントが制約のない検索空間上で最適なハイパーパラメータ構成を検索できるようにする。 固定された計算予算と制約が与えられた場合、テストベッドとして \emph{autoresearch} を用いて、古典的ハイパーパラメータ最適化(HPO)アルゴリズムと、小言語モデルのハイパーパラメータをチューニングするためのLLMベースの手法を比較する。 固定されたハイパーパラメータ探索空間内では、CMA-ESやTPEのような古典的なHPO手法がLCMベースのエージェントより一貫して優れている。 しかし、制約のない検索空間でトレーニングソースコードを直接編集するLLMエージェントは、自己ホスト型オープンウェイト27Bモデルのみを使用しても、古典的な方法とのギャップを著しく狭める。 メモリ外障害を避ける手法は、検索多様性の高い方法よりも優れており、信頼性は探索範囲よりも重要であることを示唆している。 中小のLLMは試行錯誤状態を追跡するのに苦労するが、古典的な手法にはドメイン知識がない。 このギャップを埋めるために、平均ベクトル、ステップサイズ、共分散行列を含むCMA-ESの内部状態を共有するハイブリッドであるCentaurをLLMで導入する。 Centaur は 0.8B の変種が 27B の変種を上回り、より安価な LLM が強い古典的オプティマイザと組み合わせれば十分であることを示す。 0.8Bモデルは制約のないコード編集には不十分だが、ハイブリッド最適化には十分である。 コードはhttps://github.com/ferreirafabio/autoresearch-automlで入手できる。

関連論文リスト

• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• LLM Agent for Hyper-Parameter Optimization [27.801667344330944]
  本稿では,自動ハイパーパラメータチューニングのためのLarge Language Model (LLM) エージェントを設計する。 実験の結果, LLMエージェントを用いて生成した超パラメータによる最小和率は, 人・ランダム生成法ともに有意に高いことがわかった。
  論文  参考訳（メタデータ） (2025-06-18T06:28:22Z)
• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [45.58422897857411]
  この研究は、LoRAを用いてパラメータ効率の良いCode Llamaを微調整することで、ハイパーパラメータ最適化のための大規模言語モデル(LLM)の使用について検討する。 提案手法は,計算オーバーヘッドを大幅に削減しつつ,競合的あるいは優れたRoot Mean Square Error(RMSE)を実現する。 その結果,LLMに基づく最適化によって,木構造型パーゼンエミュレータ (TPE) のようなベイズ的手法が確立されただけでなく,知覚品質と低レイテンシ処理を必要とする実世界のアプリケーションへのチューニングが高速化された。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。