論文の概要: Just a Matter of Scale? Reevaluating Scale Equivariance in Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2211.10288v1
• Date: Fri, 18 Nov 2022 15:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 15:20:03.710063
• Title: Just a Matter of Scale? Reevaluating Scale Equivariance in Convolutional Neural Networks
• Title（参考訳）: 単なるスケールの問題? 畳み込みニューラルネットワークにおけるスケール等価性の再評価
• Authors: Thomas Altstidl, An Nguyen, Leo Schwinn, Franz K\"oferl, Christopher Mutschler, Bj\"orn Eskofier, Dario Zanca
• Abstract要約: 畳み込みネットワークはスケールの変動に不変ではなく、異なる大きさのオブジェクトに一般化できない。 重みを並列に共有した再スケールカーネルを多数適用し,最も適切なカーネルを選択するモデル群を新たに導入する。 STIRにおける実験結果から,既存の手法と提案手法の両方が,標準的な畳み込みよりもスケール全体の一般化を向上できることが示唆された。
• 参考スコア（独自算出の注目度）: 3.124871781422893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread success of convolutional neural networks may largely be attributed to their intrinsic property of translation equivariance. However, convolutions are not equivariant to variations in scale and fail to generalize to objects of different sizes. Despite recent advances in this field, it remains unclear how well current methods generalize to unobserved scales on real-world data and to what extent scale equivariance plays a role. To address this, we propose the novel Scaled and Translated Image Recognition (STIR) benchmark based on four different domains. Additionally, we introduce a new family of models that applies many re-scaled kernels with shared weights in parallel and then selects the most appropriate one. Our experimental results on STIR show that both the existing and proposed approaches can improve generalization across scales compared to standard convolutions. We also demonstrate that our family of models is able to generalize well towards larger scales and improve scale equivariance. Moreover, due to their unique design we can validate that kernel selection is consistent with input scale. Even so, none of the evaluated models maintain their performance for large differences in scale, demonstrating that a general understanding of how scale equivariance can improve generalization and robustness is still lacking.
• Abstract（参考訳）: 畳み込みニューラルネットワークの広範な成功は、翻訳等価性の本質的な性質に起因すると考えられる。 しかし、畳み込みはスケールの変化に同変ではなく、異なる大きさのオブジェクトに一般化できない。 この分野の最近の進歩にもかかわらず、現在の方法が実世界のデータで観測されていないスケールにどのように一般化され、どの程度のスケールの等分散が役割を果たすかは、まだ不明である。 そこで本研究では,4つの異なる領域に基づくstir(scaled and translation image recognition)ベンチマークを提案する。 さらに,共有重みを持つ多数の再スケールカーネルを並列に適用し,最も適切なカーネルを選択する,新たなモデルファミリを導入する。 stirの実験結果は,既存の手法と提案手法の両方が,標準畳み込みと比較して,スケール全体の一般化を改善できることを示した。 また、我々のモデルの族はより大きなスケールに向けてうまく一般化し、スケールの等式を改善することができることを示した。 さらに、そのユニークな設計により、カーネルの選択が入力スケールと一致していることを検証することができる。 それでも、評価されたモデルがスケールの大きな違いに対して性能を維持することはなく、スケールの等分散が一般化と堅牢性を改善する方法に関する一般的な理解がいまだに欠けていることを示している。

関連論文リスト

• Riesz feature representation: scale equivariant scattering network for classification tasks [0.6827423171182154]
  散乱ネットワークは、長い訓練を必要としない強力な階層的な画像記述子を生成する。 彼らはスケールディメンションのサンプリングに頼っている。 本研究では,Riesz変換に基づく代替的特徴表現を定義する。
  論文  参考訳（メタデータ） (2023-07-17T13:21:28Z)
• What Affects Learned Equivariance in Deep Image Recognition Models? [10.590129221143222]
  ImageNet上で,学習した翻訳の等価性と検証精度の相関関係を示す証拠が発見された。 データ拡張、モデルのキャパシティの低減、畳み込みの形での帰納バイアスは、ニューラルネットワークにおいてより高い学習等価性をもたらす。
  論文  参考訳（メタデータ） (2023-04-05T17:54:25Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Do Deep Networks Transfer Invariances Across Classes? [123.84237389985236]
  ニュアンス変換を学習するための生成的アプローチが、クラス間での不変性の伝達にどのように役立つかを示す。 この結果から,不均衡分布や細長い分布に対して分類器が不規則に一般化する理由が示唆された。
  論文  参考訳（メタデータ） (2022-03-18T04:38:18Z)
• Regularising for invariance to data augmentation improves supervised learning [82.85692486314949]
  入力毎に複数の拡張を使用すれば、一般化が向上することを示す。 本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T11:25:45Z)
• DISCO: accurate Discrete Scale Convolutions [2.1485350418225244]
  スケールは、多くのビジョンタスクにおいて与えられた、乱雑な要因と見なされることが多い。そうすると、学習中により多くのデータを必要とする要因の1つである。 我々は,スケールの粒度とフィルタサイズが小さい問題に適用可能な,高精度なスケール等価畳み込みニューラルネットワーク(SE-CNN)を提案する。
  論文  参考訳（メタデータ） (2021-06-04T21:48:09Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。