Fugu-MT 論文翻訳(概要): What augmentations are sensitive to hyper-parameters and why?

論文の概要: What augmentations are sensitive to hyper-parameters and why?

arxiv url: http://arxiv.org/abs/2111.03861v1
Date: Sat, 6 Nov 2021 11:56:40 GMT
ステータス: 処理完了
システム内更新日: 2021-11-09 13:46:48.225968
Title: What augmentations are sensitive to hyper-parameters and why?
Title（参考訳）: ハイパーパラメータに敏感な拡張は何か?
Authors: Ch Muhammad Awais and Imad Eddine Ibrahim Bekkouch
Abstract要約: モデルの高次パラメータに対する拡張の感度と、その一貫性と影響を評価する。我々の研究は、ハイパーパラメータに非常に敏感な拡張や、よりレジリエンスで信頼性の高い拡張があることを証明した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We apply augmentations to our dataset to enhance the quality of our predictions and make our final models more resilient to noisy data and domain drifts. Yet the question remains, how are these augmentations going to perform with different hyper-parameters? In this study we evaluate the sensitivity of augmentations with regards to the model's hyper parameters along with their consistency and influence by performing a Local Surrogate (LIME) interpretation on the impact of hyper-parameters when different augmentations are applied to a machine learning model. We have utilized Linear regression coefficients for weighing each augmentation. Our research has proved that there are some augmentations which are highly sensitive to hyper-parameters and others which are more resilient and reliable.
Abstract（参考訳）: データセットに拡張を適用して予測の質を高め、最終的なモデルがノイズの多いデータやドメインのドリフトに対してより回復力のあるものにします。しかし、疑問は残る。これらの拡張は、異なるハイパーパラメータでどのように機能するのか? 本研究では,機械学習モデルに適用した場合のハイパーパラメータの影響に対する局所サロゲート(LIME)解釈を行うことにより,モデルのハイパーパラメータに対する拡張の感度と一貫性および影響を評価する。我々は,各加重を重み付けするために線形回帰係数を用いた。我々の研究は、ハイパーパラメータに非常に敏感な拡張や、よりレジリエンスで信頼性の高い拡張があることを証明した。

関連論文リスト

R+R:Understanding Hyperparameter Effects in DP-SGD [3.0668784884950235]
DP-SGDはプライバシー保護機械学習の標準的な最適化アルゴリズムである。プライベートでない学習アプローチに比べて、パフォーマンスの低いアプローチでは、依然として一般的な課題である。
論文参考訳（メタデータ） (2024-11-04T12:56:35Z)
Deep Learning to Predict Late-Onset Breast Cancer Metastasis: the Single Hyperparameter Grid Search (SHGS) Strategy for Meta Tuning Concerning Deep Feed-forward Neural Network [7.332652485849632]
n年前から乳がんの転移を予測できるDFNNモデルの構築に取り組んできた。この課題は、時間とリソースの制約を考慮して、グリッドサーチによって最適なハイパーパラメータ値を効率的に特定することにある。
論文参考訳（メタデータ） (2024-08-28T03:00:43Z)
Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文参考訳（メタデータ） (2024-07-08T12:32:51Z)
Hyper-parameter Adaptation of Conformer ASR Systems for Elderly and Dysarthric Speech Recognition [64.9816313630768]
ファインチューニングは、多くの非高齢および健康な音声事前訓練モデルを利用するためにしばしば用いられる。本稿では,Librispeech corpus 上で事前学習した Conformer ASR システムのハイパーパラメータ適応について検討する。
論文参考訳（メタデータ） (2023-06-27T07:49:35Z)
Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文参考訳（メタデータ） (2023-06-01T15:18:55Z)
Revisiting Data Augmentation in Model Compression: An Empirical and Comprehensive Study [17.970216875558638]
本稿では,モデル圧縮におけるデータ拡張の利用について再検討する。異なるサイズのモデルでは、大きさの異なるデータ拡張が好ましいことを示す。事前訓練された大規模モデルの予測は、データ拡張の難しさを測定するために利用することができる。
論文参考訳（メタデータ） (2023-05-22T17:05:06Z)
Empirical Study of Overfitting in Deep FNN Prediction Models for Breast Cancer Metastasis [0.0]
オーバーフィッティングは、現在のモデルが特定のデータセットに完全に適合し、結果として一般化が弱まるという事実である。本研究では,乳がん転移に関するEHRデータセットを用いて,深層フィードフォワードニューラルネットワーク(FNN)予測モデルのオーバーフィットについて検討した。
論文参考訳（メタデータ） (2022-08-03T15:36:12Z)
Assessing the Effects of Hyperparameters on Knowledge Graph Embedding Quality [2.5543596355145093]
我々は,異なるハイパーパラメータのチューニングが埋め込み品質のばらつきに与える影響を評価するために,ソボ感度解析を実行する。このモデルを用いて,各ハイパーパラメータに対するソボ感度指標を生成することにより,これらのハイパーパラメータへの埋め込み品質を抑えた。 UMLS知識グラフには,逆関係によるデータ漏洩を引き起こす可能性のあるいくつかの関係を識別し,そのグラフの漏洩・損なわれた変種であるUMLS-43を導出・提示する。
論文参考訳（メタデータ） (2022-07-01T14:53:16Z)
No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models [132.90062129639705]
本稿では,全てのパラメータを十分に訓練するための新しいトレーニング戦略を提案する。感度の低いパラメータは冗長であり、学習率を高めて適合性を改善する。対照的に、高い感度を持つパラメータを十分に訓練し、学習率を下げて正規化することで、さらなる過度なオーバーフィッティングを防止する。
論文参考訳（メタデータ） (2022-02-06T00:22:28Z)
Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文参考訳（メタデータ） (2021-04-12T16:23:37Z)
On the Sparsity of Neural Machine Translation Models [65.49762428553345]
性能向上のために冗長パラメータを再利用できるかどうかを検討する。実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
論文参考訳（メタデータ） (2020-10-06T11:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。