論文の概要: Learning Augmentation Distributions using Transformed Risk Minimization

• arxiv url: http://arxiv.org/abs/2111.08190v2
• Date: Thu, 5 Oct 2023 22:18:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 17:22:49.385784
• Title: Learning Augmentation Distributions using Transformed Risk Minimization
• Title（参考訳）: 変換リスク最小化を用いた学習拡大分布
• Authors: Evangelos Chatzipantazis, Stefanos Pertigkiozoglou, Kostas Daniilidis, Edgar Dobriban
• Abstract要約: 本稿では,古典的リスク最小化の拡張として,新しいemphTransformed Risk Minimization(TRM)フレームワークを提案する。 重要な応用として、与えられたクラスの予測器による分類性能を改善するために、学習強化に焦点を当てる。
• 参考スコア（独自算出の注目度）: 47.236227685707526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new \emph{Transformed Risk Minimization} (TRM) framework as an extension of classical risk minimization. In TRM, we optimize not only over predictive models, but also over data transformations; specifically over distributions thereof. As a key application, we focus on learning augmentations; for instance appropriate rotations of images, to improve classification performance with a given class of predictors. Our TRM method (1) jointly learns transformations and models in a \emph{single training loop}, (2) works with any training algorithm applicable to standard risk minimization, and (3) handles any transforms, such as discrete and continuous classes of augmentations. To avoid overfitting when implementing empirical transformed risk minimization, we propose a novel regularizer based on PAC-Bayes theory. For learning augmentations of images, we propose a new parametrization of the space of augmentations via a stochastic composition of blocks of geometric transforms. This leads to the new \emph{Stochastic Compositional Augmentation Learning} (SCALE) algorithm. The performance of TRM with SCALE compares favorably to prior methods on CIFAR10/100. Additionally, we show empirically that SCALE can correctly learn certain symmetries in the data distribution (recovering rotations on rotated MNIST) and can also improve calibration of the learned model.
• Abstract（参考訳）: 本稿では,古典的リスク最小化の拡張として,新しいリスク最小化フレームワーク(TRM)を提案する。 TRMでは、予測モデルだけでなく、データ変換、特にその分布を最適化します。 重要な応用として,画像の適切な回転といった学習の強化に着目し,特定の予測器のクラスによる分類性能を向上させる。 本手法は,(1)emph{single training loop}において,変換とモデルを共同で学習し,(2)標準リスク最小化に適用可能なトレーニングアルゴリズムと連携し,(3)拡張の離散クラスや連続クラスといった任意の変換を処理する。 そこで本研究では,pac-bayes理論に基づく新しい正規化器を提案する。 画像の増補を学ぶために,幾何学的変換のブロックの確率的構成による増補空間の新しいパラメトリゼーションを提案する。 これにより、新しい \emph{Stochastic Compositional Augmentation Learning} (SCALE) アルゴリズムが作られる。 TRMとSCALEのパフォーマンスは、CIFAR10/100の以前の手法とよく比較できる。 さらに、SCALEはデータ分布の特定の対称性(回転MNIST上の回転の復元)を正しく学習でき、学習モデルの校正も改善できることを実証的に示す。

関連論文リスト

• A Model-Based Method for Minimizing CVaR and Beyond [7.751691910877239]
  CVaR(Conditional Value-at-Risk)目標の最小化のために, Prox-linear 法の変種を開発した。 CVaRは最悪のケースのパフォーマンスを最小化することに焦点を当てたリスク尺度であり、損失の最上位量の平均として定義される。 機械学習では、そのようなリスク尺度はより堅牢なモデルをトレーニングするのに有用である。
  論文  参考訳（メタデータ） (2023-05-27T15:38:53Z)
• Learning Optimal Features via Partial Invariance [18.552839725370383]
  不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。 線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
  論文  参考訳（メタデータ） (2023-01-28T02:48:14Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Model Adaptation for Image Reconstruction using Generalized Stein's Unbiased Risk Estimator [34.08815401541628]
  我々は、ネットワークを計測したk空間データに適応させるために、一般化ステインのアンバイアスドリスク推定(GSURE)損失指標を導入する。 kspaceの平均二乗誤差に依存する現在の方法とは異なり、提案されたメトリックは測定におけるノイズを計る。
  論文  参考訳（メタデータ） (2021-01-29T20:16:45Z)
• Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training [2.9649783577150837]
  スパイクされたフィールド依存ランダム行列理論を用いて, ニューラルネットの損失景観に及ぼすミニバッチの影響について検討した。 我々は、スムーズで非ニュートンディープニューラルネットワークのための最大降下および適応訓練規則の解析式を導出する。 VGG/ResNetおよびImageNetデータセットのクレームを検証する。
  論文  参考訳（メタデータ） (2020-06-16T11:55:45Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。