論文の概要: On gradient descent training under data augmentation with on-line noisy
copies
- arxiv url: http://arxiv.org/abs/2206.03734v1
- Date: Wed, 8 Jun 2022 08:20:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 13:20:24.689730
- Title: On gradient descent training under data augmentation with on-line noisy
copies
- Title(参考訳): オンラインノイズコピーによるデータ強化による勾配降下訓練について
- Authors: Katsuyuki Hagiwara
- Abstract要約: ノイズを入力に注入するデータセットのノイズコピーを用いて,DA下での線形回帰の傾向を考察する。
いずれの場合も、オンラインコピーによるDAのトレーニングは、リッジ回帰トレーニングとほぼ同等であることを示す。
DA下でのニューラルネットワークのトレーニング過程をオフラインノイズコピーを用いて実験的に検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In machine learning, data augmentation (DA) is a technique for improving the
generalization performance. In this paper, we mainly considered gradient
descent of linear regression under DA using noisy copies of datasets, in which
noise is injected into inputs. We analyzed the situation where random noisy
copies are newly generated and used at each epoch; i.e., the case of using
on-line noisy copies. Therefore, it is viewed as an analysis on a method using
noise injection into training process by DA manner; i.e., on-line version of
DA. We derived the averaged behavior of training process under three situations
which are the full-batch training under the sum of squared errors, the
full-batch and mini-batch training under the mean squared error. We showed
that, in all cases, training for DA with on-line copies is approximately
equivalent to a ridge regression training whose regularization parameter
corresponds to the variance of injected noise. On the other hand, we showed
that the learning rate is multiplied by the number of noisy copies plus one in
full-batch under the sum of squared errors and the mini-batch under the mean
squared error; i.e., DA with on-line copies yields apparent acceleration of
training. The apparent acceleration and regularization effect come from the
original part and noise in a copy data respectively. These results are
confirmed in a numerical experiment. In the numerical experiment, we found that
our result can be approximately applied to usual off-line DA in
under-parameterization scenario and can not in over-parametrization scenario.
Moreover, we experimentally investigated the training process of neural
networks under DA with off-line noisy copies and found that our analysis on
linear regression is possible to be applied to neural networks.
- Abstract(参考訳): 機械学習では、データ拡張(DA)は一般化性能を改善する技術である。
本稿では,ノイズを入力に注入するデータ集合のノイズコピーを用いて,da下での線形回帰の勾配降下を主に検討する。
ランダムノイズコピーが新たに生成され,各エポックで使用される状況,すなわちオンラインノイズコピーを使用する場合を分析した。
したがって、da方式による訓練プロセスへのノイズ注入を用いた手法、すなわち、daのオンライン版の解析と見なされる。
本研究では,二乗誤差の和によるフルバッチトレーニング,平均二乗誤差によるフルバッチトレーニング,ミニバッチトレーニングという3つの条件下でのトレーニングプロセスの平均的挙動を導出した。
いずれの場合も,オンラインコピーによるDAのトレーニングは,正規化パラメータが注入音のばらつきに対応するリッジ回帰トレーニングとほぼ同等であることがわかった。
一方,学習速度は,2乗誤差と2乗誤差の和による完全バッチと,平均2乗誤差の和による完全バッチとで乗じることが示され,オンラインコピー付きDAはトレーニングの明らかな加速をもたらすことがわかった。
見かけの加速度と正規化効果は、それぞれコピーデータの元の部分とノイズから生じる。
これらの結果は数値実験で確認される。
数値実験の結果, パラメータ下シナリオでは通常のオフラインDAにほぼ適用でき, オーバーパラメータ化シナリオでは適用できないことがわかった。
さらに,オフラインノイズコピーを用いたda下でのニューラルネットワークの学習過程を実験的に検討し,線形回帰解析をニューラルネットワークに適用可能であることを見出した。
関連論文リスト
- Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。
実験結果から,本手法は既存手法よりも一貫した改善が得られた。
我々の手法はデータ効率が良く、競争のベースラインより優れています。
論文 参考訳(メタデータ) (2023-11-27T06:19:50Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - General regularization in covariate shift adaptation [1.5469452301122175]
データ分布の違いを伴わない標準教師付き学習と同等の精度を達成するために必要なサンプルの量は、最先端の分析によって証明されたものよりも少ないことを示す。
論文 参考訳(メタデータ) (2023-07-21T11:19:00Z) - Solving Inverse Problems with Score-Based Generative Priors learned from
Noisy Data [1.7969777786551424]
SURE-Scoreは、加法ガウス雑音で劣化したトレーニングサンプルを用いてスコアベースの生成モデルを学習するためのアプローチである。
2つの実践的応用において,SURE-Scoreの事前学習と逆問題に対する後続サンプリングの適用による一般化を実証する。
論文 参考訳(メタデータ) (2023-05-02T02:51:01Z) - On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。
そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。
キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文 参考訳(メタデータ) (2023-02-21T14:14:40Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳(メタデータ) (2023-02-17T18:45:04Z) - Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。
In-Training Representation Alignment (ITRA) を提案する。
また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
論文 参考訳(メタデータ) (2022-11-23T22:23:22Z) - Subset-of-Data Variational Inference for Deep Gaussian-Processes
Regression [0.0]
ディープガウス過程(Deep Gaussian Processs, DGP)は、ガウス過程の多層で柔軟な拡張である。
スパース近似はトレーニングを単純化するが、多くのインジェクションインプットとその位置を最適化する必要があることが多い。
本稿では,データの固定されたサブセットに位置を設定し,変動分布からインジェクションインプットをサンプリングすることで,学習を簡略化する。
論文 参考訳(メタデータ) (2021-07-17T15:55:35Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳(メタデータ) (2020-08-28T04:29:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。