論文の概要: Goal-Oriented Sensitivity Analysis of Hyperparameters in Deep Learning

• arxiv url: http://arxiv.org/abs/2207.06216v1
• Date: Wed, 13 Jul 2022 14:21:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 19:00:31.449385
• Title: Goal-Oriented Sensitivity Analysis of Hyperparameters in Deep Learning
• Title（参考訳）: ディープラーニングにおけるハイパーパラメータの目標指向感度解析
• Authors: Paul Novello, Ga\"el Po\"ette, David Lugato, Pietro Marco Congedo
• Abstract要約: Hilbert-Schmidt Independence Criterion (HSIC) に基づく目標指向感度分析のハイパーパラメータ解析および最適化への応用について検討した。 MNISTやCifar、古典的な機械学習データセットに応用したHSICに基づく最適化アルゴリズムを導出し、科学的な機械学習に関心を持つ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tackling new machine learning problems with neural networks always means optimizing numerous hyperparameters that define their structure and strongly impact their performances. In this work, we study the use of goal-oriented sensitivity analysis, based on the Hilbert-Schmidt Independence Criterion (HSIC), for hyperparameter analysis and optimization. Hyperparameters live in spaces that are often complex and awkward. They can be of different natures (categorical, discrete, boolean, continuous), interact, and have inter-dependencies. All this makes it non-trivial to perform classical sensitivity analysis. We alleviate these difficulties to obtain a robust analysis index that is able to quantify hyperparameters' relative impact on a neural network's final error. This valuable tool allows us to better understand hyperparameters and to make hyperparameter optimization more interpretable. We illustrate the benefits of this knowledge in the context of hyperparameter optimization and derive an HSIC-based optimization algorithm that we apply on MNIST and Cifar, classical machine learning data sets, but also on the approximation of Runge function and Bateman equations solution, of interest for scientific machine learning. This method yields neural networks that are both competitive and cost-effective.
• Abstract（参考訳）: ニューラルネットワークで新しい機械学習問題に取り組むということは、その構造を定義し、パフォーマンスに強い影響を与える多数のハイパーパラメータを最適化することを意味する。 本研究では,Hilbert-Schmidt Independence Criterion(HSIC)に基づく目標指向感度分析のハイパーパラメータ解析および最適化への応用について検討する。 ハイパーパラメータは、しばしば複雑でぎこちない空間に存在します。 それらは異なる性質(カテゴリー、離散、ブール、連続)を持ち、相互作用し、相互依存性を持つ。 これら全ては古典的な感度解析を行うのが簡単ではない。 我々は、ニューラルネットワークの最終エラーに対するハイパーパラメータの相対的影響を定量化できるロバストな分析指標を得るためのこれらの困難を緩和する。 この貴重なツールは、ハイパーパラメータをよりよく理解し、ハイパーパラメータ最適化をより解釈できるようにします。 この知識の利点をハイパーパラメータ最適化の文脈で説明し、古典的機械学習データセットであるmnistとcifarに適用するhsicベースの最適化アルゴリズムを導出するとともに、科学的な機械学習に関心のあるランジュ関数とバトマン方程式の近似についても述べる。 この手法は、競争力とコスト効率の両方のニューラルネットワークを生み出す。

関連論文リスト

• Hyperparameter Optimization in Machine Learning [34.356747514732966]
  ハイパーパラメータは、機械学習アルゴリズムの振る舞いを制御する設定変数である。 それらの価値の選択は、これらの技術に基づいてシステムの有効性を決定する。 我々はハイパーパラメータ最適化の統一的な処理を行い、読者に最先端技術に関する実例と洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-30T09:39:22Z)
• Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
  本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。 我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
  論文  参考訳（メタデータ） (2024-10-11T15:47:46Z)
• Combining Automated Optimisation of Hyperparameters and Reward Shape [7.407166175374958]
  本稿では,ハイパーパラメータと報酬関数を組み合わせた最適化手法を提案する。 近似ポリシー最適化とソフト・アクター・クリティカルを用いた広範囲な実験を行った。 以上の結果から,統合最適化は環境の半分のベースライン性能よりも有意に向上し,他の環境との競争性能も向上することが示された。
  論文  参考訳（メタデータ） (2024-06-26T12:23:54Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• HyperNP: Interactive Visual Exploration of Multidimensional Projection Hyperparameters [61.354362652006834]
  HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。 我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
  論文  参考訳（メタデータ） (2021-06-25T17:28:14Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• HyperTendril: Visual Analytics for User-Driven Hyperparameter Optimization of Deep Neural Networks [36.047441272704205]
  HyperTendrilはWebベースのビジュアル分析システムで、ユーザ主導のハイパーパラメータチューニングプロセスをサポートする。 我々は,HyperTendrilが,プロフェッショナルな産業環境にシステムを展開する際に,対話ログの分析と詳細なインタビューに基づいて,縦断的なユーザスタディを通じて,ユーザのチューニングプロセスのステアリングを支援する方法を示す。
  論文  参考訳（メタデータ） (2020-09-04T09:11:08Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。