論文の概要: A Theory of PAC Learnability under Transformation Invariances
- arxiv url: http://arxiv.org/abs/2202.07552v1
- Date: Tue, 15 Feb 2022 16:38:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-16 15:55:17.076608
- Title: A Theory of PAC Learnability under Transformation Invariances
- Title（参考訳）: 変換不変条件下でのPAC学習可能性の理論
- Authors: Han Shao, Omar Montasser, Avrim Blum
- Abstract要約: 本研究では, 変換不変条件下でのPAC学習可能性について, 実現可能性の異なる3つの条件で検討した。
興味深い観察の1つは、最適な精度を達成するためには、元のデータと変換されたデータの区別が必要であることである。
- 参考スコア（独自算出の注目度）: 31.42948677012716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformation invariances are present in many real-world problems. For
example, image classification is usually invariant to rotation and color
transformation: a rotated car in a different color is still identified as a
car. Data augmentation, which adds the transformed data into the training set
and trains a model on the augmented data, is one commonly used technique to
build these invariances into the learning process. However, it is unclear how
data augmentation performs theoretically and what the optimal algorithm is in
presence of transformation invariances. In this paper, we study PAC
learnability under transformation invariances in three settings according to
different levels of realizability: (i) A hypothesis fits the augmented data;
(ii) A hypothesis fits only the original data and the transformed data lying in
the support of the data distribution; (iii) Agnostic case. One interesting
observation is that distinguishing between the original data and the
transformed data is necessary to achieve optimal accuracy in setting (ii) and
(iii), which implies that any algorithm not differentiating between the
original and transformed data (including data augmentation) is not optimal.
Furthermore, this type of algorithms can even "harm" the accuracy. In setting
(i), although it is unnecessary to distinguish between the two data sets, data
augmentation still does not perform optimally. Due to such a difference, we
propose two combinatorial measures characterizing the optimal sample complexity
in setting (i) and (ii)(iii) and provide the optimal algorithms.
- Abstract（参考訳）: 変換不変性は多くの実世界の問題に存在する。
例えば、画像分類は通常回転と色変換に不変であり、異なる色の回転した車は依然として車として識別される。
データ拡張(Data augmentation)は、トレーニングセットに変換されたデータを追加し、拡張データ上でモデルをトレーニングするものであり、これらの不変性を学習プロセスに組み込むのに一般的に使用されるテクニックである。
しかし、データ拡張が理論的にどのように機能し、最適なアルゴリズムが変換不変性の存在下にあるかは不明である。
本稿では, 変換不変条件下でのPAC学習可能性について, 実現可能性の異なる3つの条件で検討する。
(i)仮説は、拡張データに適合する。
2 仮説は、元のデータと、データ配信の支持に横たわる変換されたデータのみに適合する。
(iii)不可知例。
1つの興味深い観察は、設定において最適な精度を達成するためには、元のデータと変換されたデータの区別が必要であることである。
(ii)および
(iii)は、元のデータと変換されたデータ(データ拡張を含む)を区別しないアルゴリズムが最適でないことを意味する。
さらに、この種のアルゴリズムは精度を「損なう」こともできる。
設定において
(i)2つのデータセットを区別する必要はないが、データ拡張は依然として最適に動作しない。
このような違いから,設定における最適サンプル複雑性を特徴付ける2つの組合せ測度を提案する。
(i)および
(ii)
(iii)最適なアルゴリズムを提供する。
関連論文リスト
- Does equivariance matter at scale? [15.247352029530523]
我々は、等変ネットワークと非等変ネットワークが、計算およびトレーニングサンプルでどのようにスケールするかを研究する。
まず、等分散によりデータ効率が向上するが、データ拡張による非同変モデルのトレーニングは、十分なエポックを考慮すれば、このギャップを埋めることができる。
第二に、計算によるスケーリングは、テストされた各計算予算において、同変モデルが非同変モデルよりも優れたパワー則に従う。
論文 参考訳（メタデータ） (2024-10-30T16:36:59Z) - No More Distractions: an Adaptive Up-Sampling Algorithm to Reduce Data
Artifacts [3.9777369380822956]
SNLIデータを解析し,その相関関係を可視化した。
データアーチファクトの修正に適応的なアップサンプリングアルゴリズムを提案する。
SNLIデータにおけるデータアーチファクトの修正にアルゴリズムを適用した実験を行った。
論文 参考訳（メタデータ） (2024-01-25T02:54:53Z) - Domain Generalization by Rejecting Extreme Augmentations [13.114457707388283]
ドメイン外およびドメインの一般化設定では、データ拡張が顕著で堅牢なパフォーマンス向上をもたらすことを示す。
i)標準データ拡張変換の均一サンプリング,(ii)ドメイン外での作業において期待される高いデータ分散を考慮した強度変換,(iii)トレーニングを損なうような極端な変換を拒否する新たな報酬関数を考案する,という簡単なトレーニング手順を提案する。
論文 参考訳（メタデータ） (2023-10-10T14:46:22Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳（メタデータ） (2023-09-13T10:40:41Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。
我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文 参考訳（メタデータ） (2022-02-04T14:12:31Z) - Nonlinearities in Steerable SO(2)-Equivariant CNNs [7.552100672006172]
我々は,SO(2)の表現に対する非線形性の影響を照らし出すために調和歪み解析を適用した。
我々は、非線形変換されたアクティベーションの表現を計算するための新しいFFTベースのアルゴリズムを開発した。
2Dおよび3Dデータを用いた実験では、連続対称性と正確な同値性において、精度の点で最先端と良好に比較できる結果が得られる。
論文 参考訳（メタデータ） (2021-09-14T17:53:45Z) - CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG
Signals [92.60744099084157]
本研究では、勾配に基づく学習に適した微分可能データ拡張を提案する。
本研究は,臨床関連睡眠ステージ分類課題におけるアプローチの意義を示す。
論文 参考訳（メタデータ） (2021-06-25T15:28:48Z) - AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable
Probabilistic Implicit Differentiation [3.118384520557952]
AutoAugmentはディープラーニングモデルに対する自動拡張手法への関心を呼び起こした。
バイアスデータやノイズデータに適用した場合,これらの手法は堅牢ではないことを示す。
AutoAugmentを汎用的な自動データセット最適化(AutoDO)タスクとして再構成します。
従来の手法と比較して,ラベルノイズのあるバイアス付きデータセットは最大9.3%改善した。
論文 参考訳（メタデータ） (2021-03-10T04:05:33Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。