論文の概要: What augmentations are sensitive to hyper-parameters and why?
- arxiv url: http://arxiv.org/abs/2111.03861v1
- Date: Sat, 6 Nov 2021 11:56:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 13:46:48.225968
- Title: What augmentations are sensitive to hyper-parameters and why?
- Title(参考訳): ハイパーパラメータに敏感な拡張は何か?
- Authors: Ch Muhammad Awais and Imad Eddine Ibrahim Bekkouch
- Abstract要約: モデルの高次パラメータに対する拡張の感度と、その一貫性と影響を評価する。
我々の研究は、ハイパーパラメータに非常に敏感な拡張や、よりレジリエンスで信頼性の高い拡張があることを証明した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We apply augmentations to our dataset to enhance the quality of our
predictions and make our final models more resilient to noisy data and domain
drifts. Yet the question remains, how are these augmentations going to perform
with different hyper-parameters? In this study we evaluate the sensitivity of
augmentations with regards to the model's hyper parameters along with their
consistency and influence by performing a Local Surrogate (LIME) interpretation
on the impact of hyper-parameters when different augmentations are applied to a
machine learning model. We have utilized Linear regression coefficients for
weighing each augmentation. Our research has proved that there are some
augmentations which are highly sensitive to hyper-parameters and others which
are more resilient and reliable.
- Abstract(参考訳): データセットに拡張を適用して予測の質を高め、最終的なモデルがノイズの多いデータやドメインのドリフトに対してより回復力のあるものにします。
しかし、疑問は残る。これらの拡張は、異なるハイパーパラメータでどのように機能するのか?
本研究では,機械学習モデルに適用した場合のハイパーパラメータの影響に対する局所サロゲート(LIME)解釈を行うことにより,モデルのハイパーパラメータに対する拡張の感度と一貫性および影響を評価する。
我々は,各加重を重み付けするために線形回帰係数を用いた。
我々の研究は、ハイパーパラメータに非常に敏感な拡張や、よりレジリエンスで信頼性の高い拡張があることを証明した。
関連論文リスト
- Hyper-parameter Adaptation of Conformer ASR Systems for Elderly and
Dysarthric Speech Recognition [64.9816313630768]
ファインチューニングは、多くの非高齢および健康な音声事前訓練モデルを利用するためにしばしば用いられる。
本稿では,Librispeech corpus 上で事前学習した Conformer ASR システムのハイパーパラメータ適応について検討する。
論文 参考訳(メタデータ) (2023-06-27T07:49:35Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳(メタデータ) (2023-06-01T15:18:55Z) - Revisiting Data Augmentation in Model Compression: An Empirical and
Comprehensive Study [17.970216875558638]
本稿では,モデル圧縮におけるデータ拡張の利用について再検討する。
異なるサイズのモデルでは、大きさの異なるデータ拡張が好ましいことを示す。
事前訓練された大規模モデルの予測は、データ拡張の難しさを測定するために利用することができる。
論文 参考訳(メタデータ) (2023-05-22T17:05:06Z) - Empirical Study of Overfitting in Deep FNN Prediction Models for Breast
Cancer Metastasis [0.0]
オーバーフィッティングは、現在のモデルが特定のデータセットに完全に適合し、結果として一般化が弱まるという事実である。
本研究では,乳がん転移に関するEHRデータセットを用いて,深層フィードフォワードニューラルネットワーク(FNN)予測モデルのオーバーフィットについて検討した。
論文 参考訳(メタデータ) (2022-08-03T15:36:12Z) - Assessing the Effects of Hyperparameters on Knowledge Graph Embedding
Quality [2.5543596355145093]
我々は,異なるハイパーパラメータのチューニングが埋め込み品質のばらつきに与える影響を評価するために,ソボ感度解析を実行する。
このモデルを用いて,各ハイパーパラメータに対するソボ感度指標を生成することにより,これらのハイパーパラメータへの埋め込み品質を抑えた。
UMLS知識グラフには,逆関係によるデータ漏洩を引き起こす可能性のあるいくつかの関係を識別し,そのグラフの漏洩・損なわれた変種であるUMLS-43を導出・提示する。
論文 参考訳(メタデータ) (2022-07-01T14:53:16Z) - Augmentations: An Insight into their Effectiveness on Convolution Neural
Networks [0.0]
モデルの堅牢性を高める能力は、viz-a-viz、モデルアーキテクチャ、拡張のタイプという2つの要因に依存します。
本稿では,3x3および奥行き分離可能な畳み込みを用いたパラメータが,異なる拡張手法に与える影響について検討する。
論文 参考訳(メタデータ) (2022-05-09T06:36:40Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-03-15T19:25:01Z) - No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for
Training Large Transformer Models [132.90062129639705]
本稿では,全てのパラメータを十分に訓練するための新しいトレーニング戦略を提案する。
感度の低いパラメータは冗長であり、学習率を高めて適合性を改善する。
対照的に、高い感度を持つパラメータを十分に訓練し、学習率を下げて正規化することで、さらなる過度なオーバーフィッティングを防止する。
論文 参考訳(メタデータ) (2022-02-06T00:22:28Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳(メタデータ) (2021-04-12T16:23:37Z) - On the Sparsity of Neural Machine Translation Models [65.49762428553345]
性能向上のために冗長パラメータを再利用できるかどうかを検討する。
実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
論文 参考訳(メタデータ) (2020-10-06T11:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。