論文の概要: Efficient Hyperparameter Optimization under Multi-Source Covariate Shift
- arxiv url: http://arxiv.org/abs/2006.10600v2
- Date: Mon, 16 Aug 2021 10:42:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 12:47:06.874768
- Title: Efficient Hyperparameter Optimization under Multi-Source Covariate Shift
- Title（参考訳）: マルチソース共変量シフトによる高効率ハイパーパラメータ最適化
- Authors: Masahiro Nomura and Yuta Saito
- Abstract要約: 教師あり機械学習の典型的な前提は、トレイン(ソース)とテスト(ターゲット)のデータセットが完全に同じ分布に従うことである。
本研究では,マルチソース共変量シフトの下で,新しいハイパーパラメータ最適化問題を考える。
本研究では,対象目標を望ましい分散特性で不偏に近似する分散低減推定器を構築する。
- 参考スコア（独自算出の注目度）: 13.787554178089446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A typical assumption in supervised machine learning is that the train
(source) and test (target) datasets follow completely the same distribution.
This assumption is, however, often violated in uncertain real-world
applications, which motivates the study of learning under covariate shift. In
this setting, the naive use of adaptive hyperparameter optimization methods
such as Bayesian optimization does not work as desired since it does not
address the distributional shift among different datasets. In this work, we
consider a novel hyperparameter optimization problem under the multi-source
covariate shift whose goal is to find the optimal hyperparameters for a target
task of interest using only unlabeled data in a target task and labeled data in
multiple source tasks. To conduct efficient hyperparameter optimization for the
target task, it is essential to estimate the target objective using only the
available information. To this end, we construct the variance reduced estimator
that unbiasedly approximates the target objective with a desirable variance
property. Building on the proposed estimator, we provide a general and
tractable hyperparameter optimization procedure, which works preferably in our
setting with a no-regret guarantee. The experiments demonstrate that the
proposed framework broadens the applications of automated hyperparameter
optimization.
- Abstract（参考訳）: 教師付き機械学習の典型的な前提は、トレイン(ソース)とテスト(ターゲット)データセットが完全に同じ分布に従うことだ。
しかし、この仮定は、しばしば不確実な現実世界の応用に違反しており、これは共変量シフトによる学習の研究を動機付けている。
この設定では、ベイズ最適化のような適応型ハイパーパラメータ最適化法は、異なるデータセット間の分散シフトに対処しないため、望ましくは機能しない。
本研究では、対象タスクにおけるラベルなしデータと複数のソースタスクにおけるラベル付きデータのみを用いて、対象タスクに対する最適なハイパーパラメータを求めることが目的であるマルチソース共変量シフトの下で、新しいハイパーパラメータ最適化問題を考える。
対象タスクに対して効率的なハイパーパラメータ最適化を行うには,利用可能な情報のみを用いて目標目標を推定することが不可欠である。
この目的のために, 目的目標を望ましい分散特性で偏りなく近似する分散低減推定器を構築した。
提案手法は,提案した推定器に基づいて,一般かつトラクタブルなハイパーパラメータ最適化手法を提供する。
実験により,提案フレームワークは自動ハイパーパラメータ最適化の適用範囲を広げることを示した。
関連論文リスト
- Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳（メタデータ） (2024-06-04T20:33:22Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Bayesian Inverse Transfer in Evolutionary Multiobjective Optimization [29.580786235313987]
InvTrEMO(InvTrEMO)の第1回リバーストランスファー・マルチオブジェクト(InvTrEMO)を紹介する。
InvTrEMOは、決定空間がタスク間で正確に整合していない場合でも、多くの一般的な領域で共通の目的関数を利用する。
InvTrEMOは、高い精度の逆モデルを重要な副産物とし、オンデマンドで調整されたソリューションの生成を可能にする。
論文 参考訳（メタデータ） (2023-12-22T14:12:18Z) - Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。
そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-20T04:34:19Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Bayesian Optimization with Informative Covariance [13.113313427848828]
探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。
提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-08-04T15:05:11Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - Efficient hyperparameter optimization by way of PAC-Bayes bound
minimization [4.191847852775072]
本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。
そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
論文 参考訳（メタデータ） (2020-08-14T15:54:51Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳（メタデータ） (2020-06-03T08:53:48Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z) - Bilevel Optimization for Differentially Private Optimization in Energy
Systems [53.806512366696275]
本稿では,入力に敏感な制約付き最適化問題に対して,差分プライバシーを適用する方法について検討する。
本稿は, 自然仮定の下では, 大規模非線形最適化問題に対して, 双レベルモデルを効率的に解けることを示す。
論文 参考訳（メタデータ） (2020-01-26T20:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。