論文の概要: Learning Augmentation Distributions using Transformed Risk Minimization

• arxiv url: http://arxiv.org/abs/2111.08190v1
• Date: Tue, 16 Nov 2021 02:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-17 13:47:34.135627
• Title: Learning Augmentation Distributions using Transformed Risk Minimization
• Title（参考訳）: 変換リスク最小化を用いた学習拡大分布
• Authors: Evangelos Chatzipantazis, Stefanos Pertigkiozoglou, Edgar Dobriban, Kostas Daniilidis
• Abstract要約: データ分散の構造に適応することは、機械学習において重要な課題である。 拡張変換の分布を学習するための新しい手法を,新しいEmphTransformed Risk Minimization (TRM) フレームワークで提案する。
• 参考スコア（独自算出の注目度）: 57.26478426751793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting to the structure of data distributions (such as symmetry and transformation invariances) is an important challenge in machine learning. Invariances can be built into the learning process by architecture design, or by augmenting the dataset. Both require a priori knowledge about the exact nature of the symmetries. Absent this knowledge, practitioners resort to expensive and time-consuming tuning. To address this problem, we propose a new approach to learn distributions of augmentation transforms, in a new \emph{Transformed Risk Minimization} (TRM) framework. In addition to predictive models, we also optimize over transformations chosen from a hypothesis space. As an algorithmic framework, our TRM method is (1) efficient (jointly learns augmentations and models in a \emph{single training loop}), (2) modular (works with \emph{any} training algorithm), and (3) general (handles \emph{both discrete and continuous} augmentations). We theoretically compare TRM with standard risk minimization, and give a PAC-Bayes upper bound on its generalization error. We propose to optimize this bound over a rich augmentation space via a new parametrization over compositions of blocks, leading to the new \emph{Stochastic Compositional Augmentation Learning} (SCALE) algorithm. We compare SCALE experimentally with prior methods (Fast AutoAugment and Augerino) on CIFAR10/100, SVHN . Additionally, we show that SCALE can correctly learn certain symmetries in the data distribution (recovering rotations on rotated MNIST) and can also improve calibration of the learned model.
• Abstract（参考訳）: データの分散構造(対称性や変換不変性など)への適応は、機械学習において重要な課題である。 不変性はアーキテクチャ設計やデータセットの拡張によって学習プロセスに組み込むことができる。 どちらも対称性の正確な性質に関する事前知識を必要とする。 この知識を欠く実践者は、高価で時間を要するチューニングに頼る。 この問題に対処するために,新たなtrm( \emph{transformed risk minimization})フレームワークにおいて,拡張変換の分布を学習する新しい手法を提案する。 予測モデルに加えて、仮説空間から選択した変換も最適化する。 アルゴリズムフレームワークとしてのtrm法は,(1)効率的(emph{single training loop} で拡張とモデルを学ぶ),(2)モジュラー(\emph{any} トレーニングアルゴリズムで動作),(3)一般(handles \emph{both discrete and continuous} 拡張)である。 理論的には、RMを標準リスク最小化と比較し、その一般化誤差にPAC-Bayes上限を与える。 我々は、ブロックの合成に対する新しいパラメトリゼーションにより、リッチな拡張空間上のこの境界を最適化し、新しい \emph{stochastic compositional augmentedation learning} (scale) アルゴリズムを導出する。 CIFAR10/100, SVHNにおけるSCALEと先行手法(Fast AutoAugment, Augerino)を実験的に比較した。 さらに、SCALEはデータ分布の特定の対称性(回転MNIST上での回転の復元)を正しく学習でき、学習モデルの校正も改善できることを示す。

関連論文リスト

• A Model-Based Method for Minimizing CVaR and Beyond [7.751691910877239]
  CVaR(Conditional Value-at-Risk)目標の最小化のために, Prox-linear 法の変種を開発した。 CVaRは最悪のケースのパフォーマンスを最小化することに焦点を当てたリスク尺度であり、損失の最上位量の平均として定義される。 機械学習では、そのようなリスク尺度はより堅牢なモデルをトレーニングするのに有用である。
  論文  参考訳（メタデータ） (2023-05-27T15:38:53Z)
• Learning Optimal Features via Partial Invariance [18.552839725370383]
  不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。 線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
  論文  参考訳（メタデータ） (2023-01-28T02:48:14Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Model Adaptation for Image Reconstruction using Generalized Stein's Unbiased Risk Estimator [34.08815401541628]
  我々は、ネットワークを計測したk空間データに適応させるために、一般化ステインのアンバイアスドリスク推定(GSURE)損失指標を導入する。 kspaceの平均二乗誤差に依存する現在の方法とは異なり、提案されたメトリックは測定におけるノイズを計る。
  論文  参考訳（メタデータ） (2021-01-29T20:16:45Z)
• Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training [2.9649783577150837]
  スパイクされたフィールド依存ランダム行列理論を用いて, ニューラルネットの損失景観に及ぼすミニバッチの影響について検討した。 我々は、スムーズで非ニュートンディープニューラルネットワークのための最大降下および適応訓練規則の解析式を導出する。 VGG/ResNetおよびImageNetデータセットのクレームを検証する。
  論文  参考訳（メタデータ） (2020-06-16T11:55:45Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。