論文の概要: Grounding inductive biases in natural images:invariance stems from variations in data

• arxiv url: http://arxiv.org/abs/2106.05121v1
• Date: Wed, 9 Jun 2021 14:58:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:08:08.800482
• Title: Grounding inductive biases in natural images:invariance stems from variations in data
• Title（参考訳）: 自然画像における接地帰納バイアス:データの変動から生じる不変性
• Authors: Diane Bouchacourt, Mark Ibrahim, Ari S. Morcos
• Abstract要約: 本研究では,実際のデータセットであるImageNetの変動要因について検討する。 標準的な拡張は、翻訳とスケールの正確な組み合わせに依存していることを示す。 ImageNetの変動の主な要因は外見に大きく関係していることがわかりました。
• 参考スコア（独自算出の注目度）: 20.432568247732206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To perform well on unseen and potentially out-of-distribution samples, it is desirable for machine learning models to have a predictable response with respect to transformations affecting the factors of variation of the input. Invariance is commonly achieved through hand-engineered data augmentation, but do standard data augmentations address transformations that explain variations in real data? While prior work has focused on synthetic data, we attempt here to characterize the factors of variation in a real dataset, ImageNet, and study the invariance of both standard residual networks and the recently proposed vision transformer with respect to changes in these factors. We show standard augmentation relies on a precise combination of translation and scale, with translation recapturing most of the performance improvement -- despite the (approximate) translation invariance built in to convolutional architectures, such as residual networks. In fact, we found that scale and translation invariance was similar across residual networks and vision transformer models despite their markedly different inductive biases. We show the training data itself is the main source of invariance, and that data augmentation only further increases the learned invariances. Interestingly, the invariances brought from the training process align with the ImageNet factors of variation we found. Finally, we find that the main factors of variation in ImageNet mostly relate to appearance and are specific to each class.
• Abstract（参考訳）: 非知覚的かつ潜在的に分布外サンプルをうまく処理するためには、機械学習モデルが入力の変動要因に影響を与える変換に関して予測可能な応答を持つことが望ましい。 不変性は手作業によるデータ拡張によって一般的に達成されるが、実際のデータのバリエーションを説明する標準的なデータ拡張アドレス変換は可能か? 先行研究は合成データに焦点を当ててきたが,本稿では,実データ集合であるimagenetにおける変動要因を特徴付け,標準残差ネットワークと最近提案されたvision transformerの両要因のばらつきについて検討する。 標準拡張は、残差ネットワークのような畳み込みアーキテクチャに組み込まれた(ほぼ)翻訳不変性にもかかわらず、翻訳がパフォーマンス改善の大部分を取り戻すことで、翻訳とスケールの正確な組み合わせに依存していることを示している。 実際、スケールと変換の不変性は、明らかに異なる帰納的バイアスにもかかわらず、残留ネットワークと視覚トランスフォーマーモデル間で類似していることがわかった。 トレーニングデータ自体が分散の主な原因であり、データの増大は学習した不変性をさらに増大させるだけであることを示す。 興味深いことに、トレーニングプロセスから得られた不変性は、私たちが見つけた変化のImageNet要因と一致しています。 最後に、ImageNetの変動の主な要因は外見に大きく関係しており、各クラスに特有のものであることを発見した。

関連論文リスト

• Understanding the Role of Invariance in Transfer Learning [9.220104991339104]
  トランスファーラーニングは、異なるタスク間で知識を共有するための強力なテクニックである。 近年の研究では、逆入力摂動のような特定の不変性を持つモデルの表現が、下流タスクにおいてより高い性能を達成することが判明している。
  論文  参考訳（メタデータ） (2024-07-05T07:53:52Z)
• Revisiting Data Augmentation for Rotational Invariance in Convolutional Neural Networks [0.29127054707887967]
  画像分類のためのCNNにおける回転不変性について検討する。 実験により、データ拡張だけで訓練されたネットワークは、通常の非回転の場合と同様に、回転した画像の分類がほぼ可能であることが示された。
  論文  参考訳（メタデータ） (2023-10-12T15:53:24Z)
• What Affects Learned Equivariance in Deep Image Recognition Models? [10.590129221143222]
  ImageNet上で,学習した翻訳の等価性と検証精度の相関関係を示す証拠が発見された。 データ拡張、モデルのキャパシティの低減、畳み込みの形での帰納バイアスは、ニューラルネットワークにおいてより高い学習等価性をもたらす。
  論文  参考訳（メタデータ） (2023-04-05T17:54:25Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Quantised Transforming Auto-Encoders: Achieving Equivariance to Arbitrary Transformations in Deep Networks [23.673155102696338]
  畳み込みニューラルネットワーク(CNN)は画像翻訳と等価である。 埋め込みは任意の等式関係を同時に従うオートエンコーダアーキテクチャを提案する。 いくつかのデータセット上で入力画像の変換版の再レンダリングに成功した結果を示す。
  論文  参考訳（メタデータ） (2021-11-25T02:26:38Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。