論文の概要: Automatic Neural Network Hyperparameter Optimization for Extrapolation:
Lessons Learned from Visible and Near-Infrared Spectroscopy of Mango Fruit
- arxiv url: http://arxiv.org/abs/2210.01124v1
- Date: Mon, 3 Oct 2022 00:41:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 15:26:55.263735
- Title: Automatic Neural Network Hyperparameter Optimization for Extrapolation:
Lessons Learned from Visible and Near-Infrared Spectroscopy of Mango Fruit
- Title（参考訳）: 外挿用ニューラルネットワークハイパーパラメータの自動最適化:マンゴー果実の可視・近赤外分光から学んだ教訓
- Authors: Matthew Dirks, David Poole
- Abstract要約: 本稿では、可視・近赤外分光(VNIR)の領域に間に合うように、ニューラルネットワークを自動で設定する方法について考察する。
ニューラルネットワークモデルの外挿を促進するために、テストセットと同じような時間でシフトしたサンプルのモデル構成を検証することを検討する。
アンサンブルにより,最先端モデルの分散と精度が向上することがわかった。
- 参考スコア（独自算出の注目度）: 7.462336024223667
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural networks are configured by choosing an architecture and hyperparameter
values; doing so often involves expert intuition and hand-tuning to find a
configuration that extrapolates well without overfitting. This paper considers
automatic methods for configuring a neural network that extrapolates in time
for the domain of visible and near-infrared (VNIR) spectroscopy. In particular,
we study the effect of (a) selecting samples for validating configurations and
(b) using ensembles.
Most of the time, models are built of the past to predict the future. To
encourage the neural network model to extrapolate, we consider validating model
configurations on samples that are shifted in time similar to the test set. We
experiment with three validation set choices: (1) a random sample of 1/3 of
non-test data (the technique used in previous work), (2) using the latest 1/3
(sorted by time), and (3) using a semantically meaningful subset of the data.
Hyperparameter optimization relies on the validation set to estimate test-set
error, but neural network variance obfuscates the true error value. Ensemble
averaging - computing the average across many neural networks - can reduce the
variance of prediction errors.
To test these methods, we do a comprehensive study of a held-out 2018 harvest
season of mango fruit given VNIR spectra from 3 prior years. We find that
ensembling improves the state-of-the-art model's variance and accuracy.
Furthermore, hyperparameter optimization experiments - with and without
ensemble averaging and with each validation set choice - show that when
ensembling is combined with using the latest 1/3 of samples as the validation
set, a neural network configuration is found automatically that is on par with
the state-of-the-art.
- Abstract（参考訳）: ニューラルネットワークは、アーキテクチャとハイパーパラメータ値を選択することで構成されます。
本稿では、可視・近赤外分光(VNIR)の領域に間に合うようにニューラルネットワークを設定するための自動手法を検討する。
特に,その影響について検討する。
(a)構成を検証するための試料の選択及び
(b)合奏を用いる。
ほとんどの場合、モデルは未来を予測するために過去から作られています。
ニューラルネットワークモデルが外挿することを奨励するために、テストセットに類似した時間にシフトしたサンプルのモデル構成を検証することを検討する。
我々は,(1)非テストデータの1/3のランダムなサンプル(以前の研究で使用されたテクニック),(2)最新の1/3(時間によって分類),(3)意味論的に意味のあるデータサブセットの3つの検証セットを選択する実験を行った。
ハイパーパラメータ最適化は、テストセットエラーを推定する検証セットに依存するが、ニューラルネットワークの分散は真のエラー値を曖昧にする。
アンサンブル平均化 - 多くのニューラルネットワークの平均を計算する - は、予測エラーの分散を減らすことができる。
これらの方法を試すため,3年前のVNIRスペクトルから得られたマンゴー果実の2018年収穫時期を包括的に調査した。
センセーブリングは最先端のモデルの分散と精度を向上させる。
さらに、アンサンブル平均値と各バリデーションセットを選択したハイパーパラメータ最適化実験では、最新の1/3サンプルをバリデーションセットとして使用することで、最先端技術と同等のニューラルネットワーク構成を自動的に見つけることができる。
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised
Time Series Anomaly Detection [49.52429991848581]
深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。
本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
論文 参考訳（メタデータ） (2023-10-09T12:36:16Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳（メタデータ） (2023-09-13T10:40:41Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Hybrid machine-learned homogenization: Bayesian data mining and
convolutional neural networks [0.0]
本研究では,新しい特徴記述子を開発することにより,機械学習による予測を改善することを目的とする。
特徴記述子の反復的な開発により37の新たな特徴が生まれ、予測誤差を約3分の1削減することができた。
特徴に基づくアプローチと畳み込みニューラルネットワークの組み合わせは、ハイブリッドニューラルネットワークにつながる。
論文 参考訳（メタデータ） (2023-02-24T09:59:29Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。
トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T07:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。