論文の概要: Deep invariant networks with differentiable augmentation layers

• arxiv url: http://arxiv.org/abs/2202.02142v2
• Date: Mon, 7 Feb 2022 20:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 11:52:59.222314
• Title: Deep invariant networks with differentiable augmentation layers
• Title（参考訳）: 異なる拡張層を持つ深部不変ネットワーク
• Authors: C\'edric Rommel, Thomas Moreau and Alexandre Gramfort
• Abstract要約: データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
• 参考スコア（独自算出の注目度）: 87.22033101185201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing learning systems which are invariant to certain data transformations is critical in machine learning. Practitioners can typically enforce a desired invariance on the trained model through the choice of a network architecture, e.g. using convolutions for translations, or using data augmentation. Yet, enforcing true invariance in the network can be difficult, and data invariances are not always known a piori. State-of-the-art methods for learning data augmentation policies require held-out data and are based on bilevel optimization problems, which are complex to solve and often computationally demanding. In this work we investigate new ways of learning invariances only from the training data. Using learnable augmentation layers built directly in the network, we demonstrate that our method is very versatile. It can incorporate any type of differentiable augmentation and be applied to a broad class of learning problems beyond computer vision. We provide empirical evidence showing that our approach is easier and faster to train than modern automatic data augmentation techniques based on bilevel optimization, while achieving comparable results. Experiments show that while the invariances transferred to a model through automatic data augmentation are limited by the model expressivity, the invariance yielded by our approach is insensitive to it by design.
• Abstract（参考訳）: 特定のデータ変換に不変な学習システムの設計は、機械学習において重要である。 実践者は一般的に、ネットワークアーキテクチャの選択、例えば翻訳の畳み込みやデータ拡張の使用を通じて、トレーニングされたモデルに望ましい不変性を強制することができる。 しかし、ネットワークに真の不変性を持たせることは困難であり、データ不変性は常にpioriとして知られているとは限らない。 データ拡張ポリシーを学ぶための最先端の手法は、保持されたデータを必要とし、二段階最適化の問題に基づいている。 本研究では,学習データからのみ不変性を学習する方法を検討する。 ネットワーク上に直接構築された学習可能な拡張レイヤを用いて,本手法が極めて汎用的であることを示す。 あらゆる種類の微分可能拡張を組み込んで、コンピュータビジョン以外の幅広い学習問題に適用することができる。 両レベル最適化に基づく最新の自動データ拡張技術よりも,我々のアプローチがより簡単かつ高速にトレーニングできることを示す実証的な証拠を提示する。 実験により, 自動データ拡張によるモデルへの不変性はモデル表現性によって制限されるが, 提案手法により得られる不変性は設計上は不感であることがわかった。

関連論文リスト

• Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
  Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。 トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。 本稿では,フェデレートラーニングのための並列適応器を提案する。
  論文  参考訳（メタデータ） (2023-02-06T17:30:33Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• A Simple Strategy to Provable Invariance via Orbit Mapping [14.127786615513978]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変にする方法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。
  論文  参考訳（メタデータ） (2022-09-24T03:40:42Z)
• HyperInvariances: Amortizing Invariance Learning [10.189246340672245]
  不変学習は高価で、一般的なニューラルネットワークにはデータ集約的です。 我々は、不変学習を償却する概念を導入する。 このフレームワークは、異なる下流タスクにおける適切な不変性を識別し、同等またはより良いテストパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-07-17T21:40:37Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals [92.60744099084157]
  本研究では、勾配に基づく学習に適した微分可能データ拡張を提案する。 本研究は,臨床関連睡眠ステージ分類課題におけるアプローチの意義を示す。
  論文  参考訳（メタデータ） (2021-06-25T15:28:48Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。