論文の概要: On gradient descent training under data augmentation with on-line noisy copies

• arxiv url: http://arxiv.org/abs/2206.03734v1
• Date: Wed, 8 Jun 2022 08:20:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 13:20:24.689730
• Title: On gradient descent training under data augmentation with on-line noisy copies
• Title（参考訳）: オンラインノイズコピーによるデータ強化による勾配降下訓練について
• Authors: Katsuyuki Hagiwara
• Abstract要約: ノイズを入力に注入するデータセットのノイズコピーを用いて,DA下での線形回帰の傾向を考察する。 いずれの場合も、オンラインコピーによるDAのトレーニングは、リッジ回帰トレーニングとほぼ同等であることを示す。 DA下でのニューラルネットワークのトレーニング過程をオフラインノイズコピーを用いて実験的に検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In machine learning, data augmentation (DA) is a technique for improving the generalization performance. In this paper, we mainly considered gradient descent of linear regression under DA using noisy copies of datasets, in which noise is injected into inputs. We analyzed the situation where random noisy copies are newly generated and used at each epoch; i.e., the case of using on-line noisy copies. Therefore, it is viewed as an analysis on a method using noise injection into training process by DA manner; i.e., on-line version of DA. We derived the averaged behavior of training process under three situations which are the full-batch training under the sum of squared errors, the full-batch and mini-batch training under the mean squared error. We showed that, in all cases, training for DA with on-line copies is approximately equivalent to a ridge regression training whose regularization parameter corresponds to the variance of injected noise. On the other hand, we showed that the learning rate is multiplied by the number of noisy copies plus one in full-batch under the sum of squared errors and the mini-batch under the mean squared error; i.e., DA with on-line copies yields apparent acceleration of training. The apparent acceleration and regularization effect come from the original part and noise in a copy data respectively. These results are confirmed in a numerical experiment. In the numerical experiment, we found that our result can be approximately applied to usual off-line DA in under-parameterization scenario and can not in over-parametrization scenario. Moreover, we experimentally investigated the training process of neural networks under DA with off-line noisy copies and found that our analysis on linear regression is possible to be applied to neural networks.
• Abstract（参考訳）: 機械学習では、データ拡張(DA)は一般化性能を改善する技術である。 本稿では,ノイズを入力に注入するデータ集合のノイズコピーを用いて,da下での線形回帰の勾配降下を主に検討する。 ランダムノイズコピーが新たに生成され,各エポックで使用される状況,すなわちオンラインノイズコピーを使用する場合を分析した。 したがって、da方式による訓練プロセスへのノイズ注入を用いた手法、すなわち、daのオンライン版の解析と見なされる。 本研究では,二乗誤差の和によるフルバッチトレーニング,平均二乗誤差によるフルバッチトレーニング,ミニバッチトレーニングという3つの条件下でのトレーニングプロセスの平均的挙動を導出した。 いずれの場合も,オンラインコピーによるDAのトレーニングは,正規化パラメータが注入音のばらつきに対応するリッジ回帰トレーニングとほぼ同等であることがわかった。 一方,学習速度は,2乗誤差と2乗誤差の和による完全バッチと,平均2乗誤差の和による完全バッチとで乗じることが示され,オンラインコピー付きDAはトレーニングの明らかな加速をもたらすことがわかった。 見かけの加速度と正規化効果は、それぞれコピーデータの元の部分とノイズから生じる。 これらの結果は数値実験で確認される。 数値実験の結果, パラメータ下シナリオでは通常のオフラインDAにほぼ適用でき, オーバーパラメータ化シナリオでは適用できないことがわかった。 さらに,オフラインノイズコピーを用いたda下でのニューラルネットワークの学習過程を実験的に検討し,線形回帰解析をニューラルネットワークに適用可能であることを見出した。

関連論文リスト

• On the Relation Between Linear Diffusion and Power Iteration [42.158089783398616]
  相関機械として生成過程を研究する」 生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
  論文  参考訳（メタデータ） (2024-10-16T07:33:12Z)
• Leveraging Latent Diffusion Models for Training-Free In-Distribution Data Augmentation for Surface Defect Detection [9.784793380119806]
  データ拡張のためのトレーニング不要な拡散型In-Distribution Anomaly GenerationパイプラインであるDIAGを紹介する。 従来の画像生成技術とは異なり、我々は、ドメインの専門家がモデルにマルチモーダルガイダンスを提供する、Human-in-the-loopパイプラインを実装している。 我々は、挑戦的なKSDD2データセットに対する最先端データ拡張アプローチに関して、DIAGの有効性と汎用性を実証する。
  論文  参考訳（メタデータ） (2024-07-04T14:28:52Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Solving Inverse Problems with Score-Based Generative Priors learned from Noisy Data [1.7969777786551424]
  SURE-Scoreは、加法ガウス雑音で劣化したトレーニングサンプルを用いてスコアベースの生成モデルを学習するためのアプローチである。 2つの実践的応用において,SURE-Scoreの事前学習と逆問題に対する後続サンプリングの適用による一般化を実証する。
  論文  参考訳（メタデータ） (2023-05-02T02:51:01Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression [0.0]
  ディープガウス過程(Deep Gaussian Processs, DGP)は、ガウス過程の多層で柔軟な拡張である。 スパース近似はトレーニングを単純化するが、多くのインジェクションインプットとその位置を最適化する必要があることが多い。 本稿では,データの固定されたサブセットに位置を設定し,変動分布からインジェクションインプットをサンプリングすることで,学習を簡略化する。
  論文  参考訳（メタデータ） (2021-07-17T15:55:35Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。