Fugu-MT 論文翻訳(概要): Parallel Conformal Hyperparameter Optimization

論文の概要: Parallel Conformal Hyperparameter Optimization

arxiv url: http://arxiv.org/abs/2207.03017v2
Date: Sun, 19 Mar 2023 00:21:38 GMT
ステータス: 処理完了
システム内更新日: 2023-03-24 03:48:24.439627
Title: Parallel Conformal Hyperparameter Optimization
Title（参考訳）: 並列コンフォーマルハイパーパラメータ最適化
Authors: Riccardo Doyle
Abstract要約: 本稿では,共形信頼区間の高信頼境界サンプリングに基づく新しい最適化手法を提案する。このようなアーキテクチャを探索し、高密度ニューラルネットワークと畳み込みニューラルネットワークの両方のハイパーパラメータチューニングをベンチマークし、ランダム検索よりも優れた性能を示した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Several novel frameworks for hyperparameter search have emerged in the last decade, but most rely on strict, often normal, distributional assumptions, limiting search model flexibility. This paper proposes a novel optimization framework based on upper confidence bound sampling of conformal confidence intervals, whose assumption of exchangeability enables greater choice of search model architectures. Several such architectures were explored and benchmarked on hyperparameter tuning of both dense and convolutional neural networks, displaying superior performance to random search.
Abstract（参考訳）: ハイパーパラメータ検索のための新しいフレームワークは、ここ10年でいくつか登場したが、ほとんどが厳密で、通常、分散的な仮定に依存し、検索モデルの柔軟性を制限している。本稿では,共形信頼区間の上位信頼境界サンプリングに基づく新しい最適化フレームワークを提案する。このようなアーキテクチャを探索し、高密度ニューラルネットワークと畳み込みニューラルネットワークのハイパーパラメータチューニングをベンチマークし、ランダム検索よりも優れた性能を示した。

関連論文リスト

Pseudo-Bayesian Optimization [7.556071491014536]
ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
論文参考訳（メタデータ） (2023-10-15T07:55:28Z)
High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise [96.80184504268593]
グラデーション、クリッピングは、優れた高確率保証を導き出すアルゴリズムの鍵となる要素の1つである。クリッピングは、合成および分散最適化の一般的な方法の収束を損なう可能性がある。
論文参考訳（メタデータ） (2023-10-03T07:49:17Z)
HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
論文参考訳（メタデータ） (2023-04-23T17:27:40Z)
An algorithmic framework for the optimization of deep neural networks architectures and hyperparameters [0.23301643766310373]
本稿では,効率的なディープニューラルネットワークを自動生成するアルゴリズムフレームワークを提案する。このフレームワークは、進化的有向非巡回グラフ(DAG)に基づいている。畳み込み(convolutions)、再帰(recurrentence)、密集層( dense layer)といった古典的な操作の混合を可能にするだけでなく、自己注意(self-attention)のようなより新しい操作も可能である。
論文参考訳（メタデータ） (2023-02-27T08:00:33Z)
Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2023-02-18T23:31:20Z)
Fast Feature Selection with Fairness Constraints [49.142308856826396]
モデル構築における最適特徴の選択に関する基礎的問題について検討する。この問題は、greedyアルゴリズムの変種を使用しても、大規模なデータセットで計算的に困難である。適応クエリモデルは,最近提案された非モジュラー関数に対する直交整合探索のより高速なパラダイムに拡張する。提案アルゴリズムは、適応型クエリモデルにおいて指数関数的に高速な並列実行を実現する。
論文参考訳（メタデータ） (2022-02-28T12:26:47Z)
Neural Mixture Distributional Regression [0.9023847175654603]
フレキシブルな加法予測器によって定義される分布回帰の有限混合を推定する包括的枠組みを提案する。我々のフレームワークは、高次元の設定において、潜在的に異なる分布の多くの混合を処理できる。
論文参考訳（メタデータ） (2020-10-14T09:00:16Z)
An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文参考訳（メタデータ） (2020-07-11T03:15:21Z)
NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control [22.120942106939122]
本稿では,一般のニューラルネットワーク最適化操作において,適応探索をビルディングブロックとして用いることを提案する。我々は、合成エネルギーベースの構造化タスクにおける既存の2つの代替案に対してベンチマークを行い、最適制御アプリケーションでの使用例を示す。
論文参考訳（メタデータ） (2020-06-22T03:40:36Z)
Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。