Fugu-MT 論文翻訳(概要): Jitter: Random Jittering Loss Function

論文の概要: Jitter: Random Jittering Loss Function

arxiv url: http://arxiv.org/abs/2106.13749v1
Date: Fri, 25 Jun 2021 16:39:40 GMT
ステータス: 処理完了
システム内更新日: 2021-06-28 13:02:03.905276
Title: Jitter: Random Jittering Loss Function
Title（参考訳）: Jitter:ランダムジッタリング損失関数
Authors: Zhicheng Cai, Chenglei Peng and Sidan Du
Abstract要約: フラッディングと呼ばれる新しい規則化手法が、フラッディングレベルの周りでトレーニング損失を変動させる。改良のための新しいジッター法を提案する。 Jitterはドメイン、タスク、モデルに依存しない正規化手法であり、トレーニングエラーがゼロになった後にモデルを効果的に訓練することができる。
参考スコア（独自算出の注目度）: 2.716362160018477
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Regularization plays a vital role in machine learning optimization. One novel regularization method called flooding makes the training loss fluctuate around the flooding level. It intends to make the model continue to random walk until it comes to a flat loss landscape to enhance generalization. However, the hyper-parameter flooding level of the flooding method fails to be selected properly and uniformly. We propose a novel method called Jitter to improve it. Jitter is essentially a kind of random loss function. Before training, we randomly sample the Jitter Point from a specific probability distribution. The flooding level should be replaced by Jitter point to obtain a new target function and train the model accordingly. As Jitter point acting as a random factor, we actually add some randomness to the loss function, which is consistent with the fact that there exists innumerable random behaviors in the learning process of the machine learning model and is supposed to make the model more robust. In addition, Jitter performs random walk randomly which divides the loss curve into small intervals and then flipping them over, ideally making the loss curve much flatter and enhancing generalization ability. Moreover, Jitter can be a domain-, task-, and model-independent regularization method and train the model effectively after the training error reduces to zero. Our experimental results show that Jitter method can improve model performance more significantly than the previous flooding method and make the test loss curve descend twice.
Abstract（参考訳）: 正規化は機械学習の最適化において重要な役割を果たす。フラッディングと呼ばれる新しい正規化手法により、トレーニング損失はフラッディングレベル付近で変動する。一般化を促進するために、フラットな損失の風景に達するまで、モデルをランダムに歩き続けることを意図しています。しかし、洪水法のハイパーパラメータフラッディングレベルを適切に均一に選択することができない。そこで我々は,jitter という新しい手法を提案する。 jitterは本質的にランダムな損失関数の一種です。トレーニング前に、特定の確率分布からジッタ点をランダムにサンプリングする。浸水レベルをジッターポイントに置き換えて新しい目標関数を取得し、それに従ってモデルを訓練する必要がある。ランダムな要素として作用するジッター点は、実際に損失関数にランダム性を加えるが、これは機械学習モデルの学習プロセスに無数のランダムな振る舞いが存在するという事実と一致し、モデルをより堅牢にすることが期待される。さらに、jitterはランダムにランダムにウォークを行い、損失曲線を小さな間隔に分けて反転させ、損失曲線をよりフラットにし、一般化能力を高める。さらに、Jitterはドメイン、タスク、モデルに依存しない正規化手法であり、トレーニングエラーがゼロになった後にモデルを効果的に訓練することができる。実験の結果,jitter法では,従来のフラッディング法よりもモデル性能が大幅に向上し,試験損失曲線を2回降下できることがわかった。

関連論文リスト

Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning [0.3281128493853064]
過去のデータにアクセスせずにタスクのシーケンス上でモデルをトレーニングする問題に対処する。既存の方法は、特徴抽出器の潜在空間におけるガウス分布としてクラスを表す。本稿では,タスクからタスクへ共分散行列を適用する新しい手法であるAdaGaussを提案する。
論文参考訳（メタデータ） (2024-09-26T20:18:14Z)
Source-Free Test-Time Adaptation For Online Surface-Defect Detection [29.69030283193086]
テスト時間適応型表面欠陥検出手法を提案する。推論中にトレーニング済みのモデルを新しいドメインやクラスに適応させる。実験では、最先端の技術よりも優れています。
論文参考訳（メタデータ） (2024-08-18T14:24:05Z)
The Perils of Optimizing Learned Reward Functions: Low Training Error Does Not Guarantee Low Regret [64.04721528586747]
強化学習では、意図したタスクをキャプチャする報酬関数を指定することが非常に難しい。本稿では,報奨モデルの十分低いテスト誤差が,最悪の場合の後悔を保証できることを数学的に示す。次に、RLHFのような手法でよく用いられるポリシー正則化手法を用いても、同様の問題が持続することを示す。
論文参考訳（メタデータ） (2024-06-22T06:43:51Z)
Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文参考訳（メタデータ） (2024-05-29T01:32:17Z)
Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文参考訳（メタデータ） (2024-01-12T12:51:12Z)
Bridging the Gap: Addressing Discrepancies in Diffusion Model Training for Classifier-Free Guidance [1.6804613362826175]
拡散モデルは、生成モデルにおいて重要な進歩として現れている。本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
論文参考訳（メタデータ） (2023-11-02T02:03:12Z)
Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
プレトレーニングは下流のタスクに移行することで大きな成功を収めた。本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
論文参考訳（メタデータ） (2023-06-21T07:43:23Z)
Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
論文参考訳（メタデータ） (2023-02-01T17:46:47Z)
Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
正規化法はノイズや入力の腐敗に関して脆弱性を増大させる本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文参考訳（メタデータ） (2021-10-05T11:36:25Z)
Machine Learning's Dropout Training is Distributionally Robust Optimal [10.937094979510212]
本稿では,一般線形モデルにおけるドロップアウトトレーニングが,期待外の損失保証を提供することを示す。また、ドロップアウトトレーニングの実装を高速化するために、新しい並列化可能なUnbiased Multi-Level Monte Carloアルゴリズムも提供する。
論文参考訳（メタデータ） (2020-09-13T23:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。