論文の概要: Tuning the Tuner: Introducing Hyperparameter Optimization for Auto-Tuning

• arxiv url: http://arxiv.org/abs/2509.26300v1
• Date: Tue, 30 Sep 2025 14:14:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.570022
• Title: Tuning the Tuner: Introducing Hyperparameter Optimization for Auto-Tuning
• Title（参考訳）: Tunerのチューニング: オートチューニングのためのハイパーパラメータ最適化の導入
• Authors: Floris-Jan Willemsen, Rob V. van Nieuwpoort, Ben van Werkhoven,
• Abstract要約: 制限されたハイパーパラメータチューニングでも,平均94.8%のオートチューニング性能が向上することを示す。 ハイパーパラメータ自体がメタストラテジーで効率的に最適化できることを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic performance tuning (auto-tuning) is widely used to optimize performance-critical applications across many scientific domains by finding the best program variant among many choices. Efficient optimization algorithms are crucial for navigating the vast and complex search spaces in auto-tuning. As is well known in the context of machine learning and similar fields, hyperparameters critically shape optimization algorithm efficiency. Yet for auto-tuning frameworks, these hyperparameters are almost never tuned, and their potential performance impact has not been studied. We present a novel method for general hyperparameter tuning of optimization algorithms for auto-tuning, thus "tuning the tuner". In particular, we propose a robust statistical method for evaluating hyperparameter performance across search spaces, publish a FAIR data set and software for reproducibility, and present a simulation mode that replays previously recorded tuning data, lowering the costs of hyperparameter tuning by two orders of magnitude. We show that even limited hyperparameter tuning can improve auto-tuner performance by 94.8% on average, and establish that the hyperparameters themselves can be optimized efficiently with meta-strategies (with an average improvement of 204.7%), demonstrating the often overlooked hyperparameter tuning as a powerful technique for advancing auto-tuning research and practice.
• Abstract（参考訳）: 自動チューニング(auto-tuning)は、多くの科学領域でパフォーマンスクリティカルなアプリケーションを最適化するために広く使われている。 効率的な最適化アルゴリズムは、オートチューニングにおいて、広大な複雑な検索空間をナビゲートするのに不可欠である。 機械学習と類似分野の文脈でよく知られているように、ハイパーパラメータはアルゴリズムの最適化を批判的に形作る。 しかし、自動チューニングフレームワークでは、これらのハイパーパラメータはほとんどチューニングされず、その潜在的なパフォーマンスへの影響は研究されていない。 本稿では,自動チューニングのための最適化アルゴリズムの汎用ハイパーパラメータチューニング手法を提案する。 特に,探索空間間のハイパーパラメータ性能を評価するための頑健な統計手法を提案し,再現性のためのFAIRデータセットとソフトウェアを公開し,従来記録されていたチューニングデータを再生し,ハイパーパラメータチューニングのコストを2桁下げるシミュレーションモードを提案する。 制限されたハイパーパラメータチューニングでも平均94.8%のオートチューニング性能が向上し,メタストラテジー(平均204.7%)でハイパーパラメータ自体を効率的に最適化できることが確認できた。

関連論文リスト

• Towards hyperparameter-free optimization with differential privacy [9.193537596304669]
  差分プライバシー(DP)は、ディープラーニングモデルをトレーニングする際のトレーニングデータを保護するプライバシー保護パラダイムである。 本研究では,任意のモデルを対象としたDP最適化に自動学習率スケジュールを適用し,各種言語および視覚タスクにおける最先端のDP性能を実現する。
  論文  参考訳（メタデータ） (2025-03-02T02:59:52Z)
• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning [72.83293818245978]
  我々は、疎ベイズ学習におけるハイパーパラメータチューニングのためのニューラルネットワーク(NN)ベースのオートチューニングを設計し、学習する。 コンバージェンス率とリカバリ性能の大幅な向上が達成できることを示す。
  論文  参考訳（メタデータ） (2022-11-09T12:34:59Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Towards Automatic Bayesian Optimization: A first step involving acquisition functions [0.0]
  ベイズ最適化 (Bayesian optimization) は、ブラックボックスの最適化、すなわち解析的表現にアクセスできない関数の最先端技術である。 獲得関数を自動調整するいくつかの手法を探索し,自動ベイズ最適化に対する最初の試みを提案する。
  論文  参考訳（メタデータ） (2020-03-21T12:22:45Z)
• Automatic Hyper-Parameter Optimization Based on Mapping Discovery from Data to Hyper-Parameters [3.37314595161109]
  本稿では,データから対応するハイパーパラメータへのマッピングに基づく,効率的な自動パラメータ最適化手法を提案する。 提案手法は最先端のアポラッチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-03-03T19:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。