論文の概要: Automated Algorithm Design for Auto-Tuning Optimizers

• arxiv url: http://arxiv.org/abs/2510.17899v1
• Date: Sun, 19 Oct 2025 09:38:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.330306
• Title: Automated Algorithm Design for Auto-Tuning Optimizers
• Title（参考訳）: 自動チューニング最適化のための自動アルゴリズム設計
• Authors: Floris-Jan Willemsen, Niki van Stein, Ben van Werkhoven,
• Abstract要約: 我々は,大規模言語モデルを用いて自動チューニング問題に適した最適化アルゴリズムを自動生成する,新しいパラダイムを導入する。 6つのハードウェアプラットフォームにまたがる4つのリアルタイム自動チューニングアプリケーション上で,これらのアルゴリズムを評価する。 自動チューニングの最先端パラメータよりも平均72.4%向上した最適化アルゴリズムを最適に実現した。
• 参考スコア（独自算出の注目度）: 0.3459227740065624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic performance tuning (auto-tuning) is essential for optimizing high-performance applications, where vast and irregular parameter spaces make manual exploration infeasible. Traditionally, auto-tuning relies on well-established optimization algorithms such as evolutionary algorithms, annealing methods, or surrogate model-based optimizers to efficiently find near-optimal configurations. However, designing effective optimizers remains challenging, as no single method performs best across all tuning tasks. In this work, we explore a new paradigm: using large language models (LLMs) to automatically generate optimization algorithms tailored to auto-tuning problems. We introduce a framework that prompts LLMs with problem descriptions and search-space characteristics results to produce specialized optimization strategies, which are iteratively examined and improved. These generated algorithms are evaluated on four real-world auto-tuning applications across six hardware platforms and compared against the state-of-the-art in optimization algorithms of two contemporary auto-tuning frameworks. The evaluation demonstrates that providing additional application- and search space-specific information in the generation stage results in an average performance improvement of 30.7\% and 14.6\%, respectively. In addition, our results show that LLM-generated optimizers can rival, and in various cases outperform, existing human-designed algorithms, with our best-performing generated optimization algorithms achieving, on average, 72.4\% improvement over state-of-the-art optimizers for auto-tuning.
• Abstract（参考訳）: 大規模かつ不規則なパラメータ空間が手動による探索を不可能にする、高性能アプリケーションを最適化するためには、自動パフォーマンスチューニング(auto-tuning)が不可欠である。 伝統的にオートチューニングは、進化アルゴリズムやアニール法、モデルベースの最適化アルゴリズムなど、確立された最適化アルゴリズムに依存して、ほぼ最適な構成を効率的に見つける。 しかし、すべてのチューニングタスクにおいて単一のメソッドが最善を尽くさないため、効果的なオプティマイザの設計は依然として困難である。 本研究では,大規模言語モデル(LLM)を用いて自動チューニング問題に適した最適化アルゴリズムを自動生成する手法を提案する。 本稿では,問題記述や探索空間特性をLLMに導入して,反復的に検討・改善した最適化戦略を創出するフレームワークを提案する。 これらの生成されたアルゴリズムは、6つのハードウェアプラットフォームにわたる4つの実世界のオートチューニングアプリケーションで評価され、2つの現代のオートチューニングフレームワークの最適化アルゴリズムの最先端と比較される。 この評価は、生成段階で追加のアプリケーション固有の情報と検索空間固有の情報を提供することで、それぞれ平均性能が30.7\%と14.6\%となることを示す。 さらに,本研究の結果から,LLM生成オプティマイザと競合しうることを示すとともに,既存の人間設計アルゴリズムよりも優れており,自動チューニングのための最先端オプティマイザよりも平均72.4\%向上していることがわかった。

関連論文リスト

• Tuning the Tuner: Introducing Hyperparameter Optimization for Auto-Tuning [0.0]
  制限されたハイパーパラメータチューニングでも,平均94.8%のオートチューニング性能が向上することを示す。 ハイパーパラメータ自体がメタストラテジーで効率的に最適化できることを実証する。
  論文  参考訳（メタデータ） (2025-09-30T14:14:01Z)
• Evolution of Optimization Algorithms for Global Placement via Large Language Models [18.373855320220887]
  本稿では,グローバル配置のための最適化アルゴリズムを進化させる自動フレームワークを提案する。 まず,大規模言語モデル(LLM)を用いて多種多様な候補アルゴリズムを生成する。 検出された最適化アルゴリズムは、多くのベンチマークで大幅に性能が向上した。
  論文  参考訳（メタデータ） (2025-04-18T09:57:14Z)
• From Understanding to Excelling: Template-Free Algorithm Design through Structural-Functional Co-Evolution [39.42526347710991]
  大規模言語モデル(LLM)はアルゴリズム生成と最適化の自動化を大幅に加速した。 LLMに基づくエンドツーエンドのアルゴリズム生成と最適化フレームワークを提案する。 我々のアプローチは、LLMの深い意味理解を利用して、自然言語の要求や人間による論文をコードソリューションに変換する。
  論文  参考訳（メタデータ） (2025-03-13T08:26:18Z)
• Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
  本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。 $SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。 評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• A Problem-Oriented Perspective and Anchor Verification for Code Optimization [43.28045750932116]
  大規模言語モデル(LLM)は、様々なプログラミングタスクを解く際、顕著な能力を示している。 本稿では,LLMが最小実行時間に最適化する能力について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• AutoOpt: A General Framework for Automatically Designing Metaheuristic Optimization Algorithms with Diverse Structures [22.624811044236516]
  本稿では,多様な構造を持つメタヒューリスティックアルゴリズムを自動設計するための汎用フレームワークAutoOptを提案する。 メタヒューリスティックファミリーをできるだけ広くカバーするアルゴリズムの一般的なプロトタイプ。 提案したプロトタイプに適合する有向非巡回グラフアルゴリズムの表現。 操作対象のグラフの代替コンパクト形式を提供するグラフ表現埋め込み方法。
  論文  参考訳（メタデータ） (2022-04-03T05:31:56Z)
• Optimizing Optimizers: Regret-optimal gradient descent algorithms [9.89901717499058]
  我々は,後悔最適アルゴリズムの存在,一意性,一貫性について検討する。 制御問題に対する一階最適条件を提供することにより、後悔最適アルゴリズムはそれらの力学において特定の構造を満たす必要があることを示す。 それらを近似する高速な数値法を提案し,長期的後悔を直接最適化する最適化アルゴリズムを生成する。
  論文  参考訳（メタデータ） (2020-12-31T19:13:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。