論文の概要: HyperArm Bandit Optimization: A Novel approach to Hyperparameter Optimization and an Analysis of Bandit Algorithms in Stochastic and Adversarial Settings

• arxiv url: http://arxiv.org/abs/2503.10282v1
• Date: Thu, 13 Mar 2025 11:50:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:51:54.796643
• Title: HyperArm Bandit Optimization: A Novel approach to Hyperparameter Optimization and an Analysis of Bandit Algorithms in Stochastic and Adversarial Settings
• Title（参考訳）: HyperArm Bandit Optimization: ハイパーパラメータ最適化の新しいアプローチと確率的・逆的設定におけるバンドアルゴリズムの解析
• Authors: Samih Karroum, Saad Mazhar,
• Abstract要約: 本稿では,機械学習モデルにおけるハイパーパラメータチューニングに EXP3 を適用した新しいフレームワークである HyperArm Bandit Optimization (HABO) を提案する。 HABOは、個々のハイパーパラメータをスーパーアームとして扱い、潜在的な構成をサブアームとして扱い、動的リソース割り当てと効率的な探索を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper explores the application of bandit algorithms in both stochastic and adversarial settings, with a focus on theoretical analysis and practical applications. The study begins by introducing bandit problems, distinguishing between stochastic and adversarial variants, and examining key algorithms such as Explore-Then-Commit (ETC), Upper Confidence Bound (UCB), and Exponential-Weight Algorithm for Exploration and Exploitation (EXP3). Theoretical regret bounds are analyzed to compare the performance of these algorithms. The paper then introduces a novel framework, HyperArm Bandit Optimization (HABO), which applies EXP3 to hyperparameter tuning in machine learning models. Unlike traditional methods that treat entire configurations as arms, HABO treats individual hyperparameters as super-arms, and its potential configurations as sub-arms, enabling dynamic resource allocation and efficient exploration. Experimental results demonstrate HABO's effectiveness in classification and regression tasks, outperforming Bayesian Optimization in terms of computational efficiency and accuracy. The paper concludes with insights into the convergence guarantees of HABO and its potential for scalable and robust hyperparameter optimization.
• Abstract（参考訳）: 本稿では,理論的解析と実践的応用に焦点をあて,確率的・対角的両方の設定における帯域幅アルゴリズムの適用について検討する。 この研究は、確率的変種と逆数的変種を区別し、探索-Then-Commit(ETC)、上部信頼境界(UCB)、探索・爆発のための指数重みアルゴリズム(EXP3)などの重要なアルゴリズムを調べることから始まる。 これらのアルゴリズムの性能を比較するために理論的後悔境界を解析した。 次に、機械学習モデルにおけるハイパーパラメータチューニングにEXP3を適用した新しいフレームワークであるHyperArm Bandit Optimization (HABO)を紹介する。 全構成をアームとして扱う従来の方法とは異なり、HABOは個々のハイパーパラメータをスーパーアームとして扱い、潜在的な構成をサブアームとして扱い、動的リソース割り当てと効率的な探索を可能にする。 実験の結果,分類および回帰作業におけるHABOの有効性が,計算効率と精度でベイズ最適化より優れていることが示された。 本稿は,HABOの収束保証と,スケーラブルでロバストなハイパーパラメータ最適化の可能性について考察した。

関連論文リスト

• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• Enhancing Machine Learning Model Performance with Hyper Parameter Optimization: A Comparative Study [0.0]
  機械学習における最も重要な問題のひとつは、トレーニングモデルに適切なハイパーパラメータの選択である。 ハイパーパラメータ最適化(HPO)は、人工知能研究が最近注目している話題である。 本研究では,グリッドやランダム探索,ベイズ最適化などの古典的手法,遺伝的アルゴリズムや粒子群最適化といった人口ベースアルゴリズムについて論じる。
  論文  参考訳（メタデータ） (2023-02-14T10:12:10Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• On Hyper-parameter Tuning for Stochastic Optimization Algorithms [28.88646928299302]
  本稿では,強化学習に基づく最適化アルゴリズムのハイパーパラメータをチューニングするための,最初のアルゴリズムフレームワークを提案する。 提案フレームワークはアルゴリズムにおけるハイパーパラメータチューニングの標準ツールとして利用できる。
  論文  参考訳（メタデータ） (2020-03-04T12:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。