Fugu-MT 論文翻訳(概要): Model-based Asynchronous Hyperparameter and Neural Architecture Search

論文の概要: Model-based Asynchronous Hyperparameter and Neural Architecture Search

arxiv url: http://arxiv.org/abs/2003.10865v2
Date: Tue, 30 Jun 2020 08:16:06 GMT
ステータス: 処理完了
システム内更新日: 2022-12-20 08:23:14.231423
Title: Model-based Asynchronous Hyperparameter and Neural Architecture Search
Title（参考訳）: モデルベース非同期ハイパーパラメータとニューラルネットワーク検索
Authors: Aaron Klein, Louis C. Tiao, Thibaut Lienart, Cedric Archambeau, Matthias Seeger
Abstract要約: ニューラルアーキテクチャ探索のためのモデルに基づく非同期多重忠実度法を提案する。我々の手法の核心は、ハイパーパラメータを同時に推論できる確率論的モデルである。本稿では,現在の最先端手法に対する大幅な高速化について報告する。
参考スコア（独自算出の注目度）: 6.828997109834981
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a model-based asynchronous multi-fidelity method for hyperparameter and neural architecture search that combines the strengths of asynchronous Hyperband and Gaussian process-based Bayesian optimization. At the heart of our method is a probabilistic model that can simultaneously reason across hyperparameters and resource levels, and supports decision-making in the presence of pending evaluations. We demonstrate the effectiveness of our method on a wide range of challenging benchmarks, for tabular data, image classification and language modelling, and report substantial speed-ups over current state-of-the-art methods. Our new methods, along with asynchronous baselines, are implemented in a distributed framework which will be open sourced along with this publication.
Abstract（参考訳）: 本稿では,非同期ハイパーバンドとガウスプロセスに基づくベイズ最適化の強みを組み合わせたハイパーパラメータ・ニューラルアーキテクチャ探索のためのモデルベース非同期マルチフィデリティ手法を提案する。提案手法の核心は,ハイパーパラメータと資源レベルの同時推論が可能な確率モデルであり,保留評価の有無による意思決定を支援する。提案手法の有効性を,表型データ,画像分類,言語モデリングなど,幅広い課題のあるベンチマークで検証し,現状の手法に対する大幅な高速化を報告する。私たちの新しいメソッドは、非同期のベースラインとともに、分散フレームワークに実装されています。

関連論文リスト

Borrowing Strength in Distributionally Robust Optimization via Hierarchical Dirichlet Processes [35.53901341372684]
提案手法は正規化推定,分布的ロバストな最適化,階層ベイズモデリングを統一する。階層的ディリクレプロセス(HDP)を用いることで、マルチソースデータを効果的に処理する。数値実験により,予測精度とパラメータ推定精度の両方の改善と安定化におけるフレームワークの有効性が検証された。
論文参考訳（メタデータ） (2024-05-21T19:03:09Z)
Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文参考訳（メタデータ） (2023-09-05T13:42:11Z)
An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文参考訳（メタデータ） (2023-06-10T08:25:16Z)
Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。これは経験的ベンチマークでのHPO収束を早くすることを意味する。
論文参考訳（メタデータ） (2023-05-05T15:33:39Z)
Cheap and Deterministic Inference for Deep State-Space Models of Interacting Dynamical Systems [38.23826389188657]
本稿では,基礎となる相互作用力学系をモデル化するために,グラフニューラルネットワークを用いた深部状態空間モデルを提案する。予測分布はマルチモーダルであり、ガウス混合モデルの形をしており、ガウス成分のモーメントは決定論的モーメントマッチングルールによって計算できる。我々のモーメントマッチングスキームはサンプルのない推論に利用でき、モンテカルロの代替案と比較してより効率的で安定した訓練がもたらされる。
論文参考訳（メタデータ） (2023-05-02T20:30:23Z)
Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
単一チャネルソース分離(SCSS)の問題点について検討する。我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
論文参考訳（メタデータ） (2022-08-22T14:04:56Z)
Principled inference of hyperedges and overlapping communities in hypergraphs [0.0]
本稿では,ハイパーグラフの構造的構造を特徴付けるための統計的推測に基づく枠組みを提案する。我々は,ハイパーエッジ予測タスクにおいて強い性能を示し,相互作用によってもたらされる情報に順応したコミュニティの検出,ノイズの多いハイパーエッジの追加に対する堅牢性を示した。
論文参考訳（メタデータ） (2022-04-12T09:13:46Z)
Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph Neural Networks for Traffic Forecasting [2.088376060651494]
本稿では,短期交通予測のための最先端手法である拡散畳み込みリカレントニューラルネットワーク(DCRNN)に注目した。我々はDCRNNの不確実性を定量化するスケーラブルなディープアンサンブル手法を開発した。我々の汎用的かつスケーラブルなアプローチは、現在最先端のベイズ的手法や、多くの一般的な頻繁な手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-04-04T16:10:55Z)
Deep Variational Models for Collaborative Filtering-based Recommender Systems [63.995130144110156]
ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
論文参考訳（メタデータ） (2021-07-27T08:59:39Z)
MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文参考訳（メタデータ） (2021-06-03T12:59:16Z)
Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。