論文の概要: Data Augmentation vs. Equivariant Networks: A Theory of Generalization on Dynamics Forecasting

• arxiv url: http://arxiv.org/abs/2206.09450v1
• Date: Sun, 19 Jun 2022 17:00:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 17:48:37.404531
• Title: Data Augmentation vs. Equivariant Networks: A Theory of Generalization on Dynamics Forecasting
• Title（参考訳）: データ拡張対等価ネットワーク:ダイナミクス予測に関する一般化の理論
• Authors: Rui Wang, Robin Walters, Rose Yu
• Abstract要約: 力学系における対称性の爆発は、ディープラーニングの一般化を改善する強力な方法である。 データ拡張と同変ネットワークは、学習に対称性を注入する2つの主要なアプローチである。 データ拡張と同変ネットワークの一般化境界を導出し、統一されたフレームワークにおける学習に対するそれらの効果を特徴づける。
• 参考スコア（独自算出の注目度）: 24.363954435050264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploiting symmetry in dynamical systems is a powerful way to improve the generalization of deep learning. The model learns to be invariant to transformation and hence is more robust to distribution shift. Data augmentation and equivariant networks are two major approaches to injecting symmetry into learning. However, their exact role in improving generalization is not well understood. In this work, we derive the generalization bounds for data augmentation and equivariant networks, characterizing their effect on learning in a unified framework. Unlike most prior theories for the i.i.d. setting, we focus on non-stationary dynamics forecasting with complex temporal dependencies.
• Abstract（参考訳）: 力学系における対称性の利用は、ディープラーニングの一般化を改善する強力な方法である。 このモデルは変換に不変であることを学び、従って分布シフトに対してより頑健である。 データ拡張と同変ネットワークは、学習に対称性を注入する2つの主要なアプローチである。 しかし、一般化を改善する上での正確な役割はよく分かっていない。 本研究では,データ拡張と同変ネットワークの一般化境界を導出し,統一フレームワークにおける学習への影響を特徴付ける。 i.d.設定の以前の理論とは異なり、複雑な時間的依存を伴う非定常力学の予測に焦点をあてる。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Equivariant Adaptation of Large Pretrained Models [20.687626756753563]
  正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
  論文  参考訳（メタデータ） (2023-10-02T21:21:28Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• The good, the bad and the ugly sides of data augmentation: An implicit spectral regularization perspective [14.229855423083922]
  データ拡張(DA)は、現代の機械学習のパフォーマンス向上のための強力なワークホースである。 本研究では,DAの一般クラスが一般化に与える影響を特徴付ける新しい理論的枠組みを開発する。 本フレームワークは,DAの一般化に対する微妙な影響と,時として驚くべき影響を強調し,新しい拡張設計のためのテストベッドとして機能する。
  論文  参考訳（メタデータ） (2022-10-10T21:30:46Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• More Is More -- Narrowing the Generalization Gap by Adding Classification Heads [8.883733362171032]
  我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。 私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
  論文  参考訳（メタデータ） (2021-02-09T16:30:33Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Incorporating Symmetry into Deep Dynamics Models for Improved Generalization [24.363954435050264]
  本稿では,畳み込みニューラルネットワークに対称性を組み込むことにより,精度の向上と一般化を提案する。 我々のモデルは、対称性群変換による分布シフトに対して理論的かつ実験的に堅牢である。 画像やテキストアプリケーションと比較して、我々の研究は、高次元システムに同変ニューラルネットワークを適用するための重要なステップである。
  論文  参考訳（メタデータ） (2020-02-08T01:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。