論文の概要: Jitter: Random Jittering Loss Function
- arxiv url: http://arxiv.org/abs/2106.13749v1
- Date: Fri, 25 Jun 2021 16:39:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-28 13:02:03.905276
- Title: Jitter: Random Jittering Loss Function
- Title(参考訳): Jitter:ランダムジッタリング損失関数
- Authors: Zhicheng Cai, Chenglei Peng and Sidan Du
- Abstract要約: フラッディングと呼ばれる新しい規則化手法が、フラッディングレベルの周りでトレーニング損失を変動させる。
改良のための新しいジッター法を提案する。
Jitterはドメイン、タスク、モデルに依存しない正規化手法であり、トレーニングエラーがゼロになった後にモデルを効果的に訓練することができる。
- 参考スコア(独自算出の注目度): 2.716362160018477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Regularization plays a vital role in machine learning optimization. One novel
regularization method called flooding makes the training loss fluctuate around
the flooding level. It intends to make the model continue to random walk until
it comes to a flat loss landscape to enhance generalization. However, the
hyper-parameter flooding level of the flooding method fails to be selected
properly and uniformly. We propose a novel method called Jitter to improve it.
Jitter is essentially a kind of random loss function. Before training, we
randomly sample the Jitter Point from a specific probability distribution. The
flooding level should be replaced by Jitter point to obtain a new target
function and train the model accordingly. As Jitter point acting as a random
factor, we actually add some randomness to the loss function, which is
consistent with the fact that there exists innumerable random behaviors in the
learning process of the machine learning model and is supposed to make the
model more robust. In addition, Jitter performs random walk randomly which
divides the loss curve into small intervals and then flipping them over,
ideally making the loss curve much flatter and enhancing generalization
ability. Moreover, Jitter can be a domain-, task-, and model-independent
regularization method and train the model effectively after the training error
reduces to zero. Our experimental results show that Jitter method can improve
model performance more significantly than the previous flooding method and make
the test loss curve descend twice.
- Abstract(参考訳): 正規化は機械学習の最適化において重要な役割を果たす。
フラッディングと呼ばれる新しい正規化手法により、トレーニング損失はフラッディングレベル付近で変動する。
一般化を促進するために、フラットな損失の風景に達するまで、モデルをランダムに歩き続けることを意図しています。
しかし、洪水法のハイパーパラメータフラッディングレベルを適切に均一に選択することができない。
そこで我々は,jitter という新しい手法を提案する。
jitterは本質的にランダムな損失関数の一種です。
トレーニング前に、特定の確率分布からジッタ点をランダムにサンプリングする。
浸水レベルをジッターポイントに置き換えて新しい目標関数を取得し、それに従ってモデルを訓練する必要がある。
ランダムな要素として作用するジッター点は、実際に損失関数にランダム性を加えるが、これは機械学習モデルの学習プロセスに無数のランダムな振る舞いが存在するという事実と一致し、モデルをより堅牢にすることが期待される。
さらに、jitterはランダムにランダムにウォークを行い、損失曲線を小さな間隔に分けて反転させ、損失曲線をよりフラットにし、一般化能力を高める。
さらに、Jitterはドメイン、タスク、モデルに依存しない正規化手法であり、トレーニングエラーがゼロになった後にモデルを効果的に訓練することができる。
実験の結果,jitter法では,従来のフラッディング法よりもモデル性能が大幅に向上し,試験損失曲線を2回降下できることがわかった。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Bridging the Gap: Addressing Discrepancies in Diffusion Model Training
for Classifier-Free Guidance [1.6804613362826175]
拡散モデルは、生成モデルにおいて重要な進歩として現れている。
本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。
トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
論文 参考訳(メタデータ) (2023-11-02T02:03:12Z) - Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
プレトレーニングは下流のタスクに移行することで大きな成功を収めた。
本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
論文 参考訳(メタデータ) (2023-06-21T07:43:23Z) - Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。
本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
論文 参考訳(メタデータ) (2023-02-01T17:46:47Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳(メタデータ) (2021-10-05T11:36:25Z) - Disentangling Generative Factors of Physical Fields Using Variational
Autoencoders [0.0]
本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。
不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
論文 参考訳(メタデータ) (2021-09-15T16:02:43Z) - Continual Learning for Fake Audio Detection [62.54860236190694]
本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。
ASVspoof 2019データセットで実験が行われる。
論文 参考訳(メタデータ) (2021-04-15T07:57:05Z) - Machine Learning's Dropout Training is Distributionally Robust Optimal [10.937094979510212]
本稿では,一般線形モデルにおけるドロップアウトトレーニングが,期待外の損失保証を提供することを示す。
また、ドロップアウトトレーニングの実装を高速化するために、新しい並列化可能なUnbiased Multi-Level Monte Carloアルゴリズムも提供する。
論文 参考訳(メタデータ) (2020-09-13T23:13:28Z) - Bridging the Gap Between Training and Inference for Spatio-Temporal
Forecasting [16.06369357595426]
本稿では,S-temporal sequence forecastingのトレーニングと推論のギャップを埋めるために,時間的プログレッシブ・グロース・サンプリングというカリキュラムベースの新しい戦略を提案する。
実験結果から,提案手法は長期依存をモデル化し,2つの競合データセットに対するベースラインアプローチより優れていることが示された。
論文 参考訳(メタデータ) (2020-05-19T10:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。