Fugu-MT 論文翻訳(概要): Model-based Asynchronous Hyperparameter and Neural Architecture Search

論文の概要: Model-based Asynchronous Hyperparameter and Neural Architecture Search

arxiv url: http://arxiv.org/abs/2003.10865v2
Date: Tue, 30 Jun 2020 08:16:06 GMT
ステータス: 処理完了
システム内更新日: 2022-12-20 08:23:14.231423
Title: Model-based Asynchronous Hyperparameter and Neural Architecture Search
Title（参考訳）: モデルベース非同期ハイパーパラメータとニューラルネットワーク検索
Authors: Aaron Klein, Louis C. Tiao, Thibaut Lienart, Cedric Archambeau, Matthias Seeger
Abstract要約: ニューラルアーキテクチャ探索のためのモデルに基づく非同期多重忠実度法を提案する。我々の手法の核心は、ハイパーパラメータを同時に推論できる確率論的モデルである。本稿では,現在の最先端手法に対する大幅な高速化について報告する。
参考スコア（独自算出の注目度）: 6.828997109834981
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a model-based asynchronous multi-fidelity method for hyperparameter and neural architecture search that combines the strengths of asynchronous Hyperband and Gaussian process-based Bayesian optimization. At the heart of our method is a probabilistic model that can simultaneously reason across hyperparameters and resource levels, and supports decision-making in the presence of pending evaluations. We demonstrate the effectiveness of our method on a wide range of challenging benchmarks, for tabular data, image classification and language modelling, and report substantial speed-ups over current state-of-the-art methods. Our new methods, along with asynchronous baselines, are implemented in a distributed framework which will be open sourced along with this publication.
Abstract（参考訳）: 本稿では,非同期ハイパーバンドとガウスプロセスに基づくベイズ最適化の強みを組み合わせたハイパーパラメータ・ニューラルアーキテクチャ探索のためのモデルベース非同期マルチフィデリティ手法を提案する。提案手法の核心は,ハイパーパラメータと資源レベルの同時推論が可能な確率モデルであり,保留評価の有無による意思決定を支援する。提案手法の有効性を,表型データ,画像分類,言語モデリングなど,幅広い課題のあるベンチマークで検証し,現状の手法に対する大幅な高速化を報告する。私たちの新しいメソッドは、非同期のベースラインとともに、分散フレームワークに実装されています。

関連論文リスト

Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
論文参考訳（メタデータ） (2025-01-16T13:17:24Z)
Graph-Structured Topic Modeling for Documents with Spatial or Covariate Dependencies [0.9208007322096533]
文書レベルのメタデータをトピックモデリングに組み込むという課題に対処する。高速グラフ正規化反復特異値分解に基づく新しい推定器を提案する。合成データセットと実世界の3つのコーパスに関する包括的実験により,本モデルの有効性を検証した。
論文参考訳（メタデータ） (2024-12-19T03:00:26Z)
Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文参考訳（メタデータ） (2023-09-05T13:42:11Z)
An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文参考訳（メタデータ） (2023-06-10T08:25:16Z)
Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。これは経験的ベンチマークでのHPO収束を早くすることを意味する。
論文参考訳（メタデータ） (2023-05-05T15:33:39Z)
Cheap and Deterministic Inference for Deep State-Space Models of Interacting Dynamical Systems [38.23826389188657]
本稿では,基礎となる相互作用力学系をモデル化するために,グラフニューラルネットワークを用いた深部状態空間モデルを提案する。予測分布はマルチモーダルであり、ガウス混合モデルの形をしており、ガウス成分のモーメントは決定論的モーメントマッチングルールによって計算できる。我々のモーメントマッチングスキームはサンプルのない推論に利用でき、モンテカルロの代替案と比較してより効率的で安定した訓練がもたらされる。
論文参考訳（メタデータ） (2023-05-02T20:30:23Z)
Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
単一チャネルソース分離(SCSS)の問題点について検討する。我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
論文参考訳（メタデータ） (2022-08-22T14:04:56Z)
Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph Neural Networks for Traffic Forecasting [2.088376060651494]
本稿では,短期交通予測のための最先端手法である拡散畳み込みリカレントニューラルネットワーク(DCRNN)に注目した。我々はDCRNNの不確実性を定量化するスケーラブルなディープアンサンブル手法を開発した。我々の汎用的かつスケーラブルなアプローチは、現在最先端のベイズ的手法や、多くの一般的な頻繁な手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-04-04T16:10:55Z)
MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文参考訳（メタデータ） (2021-06-03T12:59:16Z)
Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。