論文の概要: Revisiting Spatial Invariance with Low-Rank Local Connectivity

• arxiv url: http://arxiv.org/abs/2002.02959v2
• Date: Fri, 14 Aug 2020 20:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 03:23:03.365120
• Title: Revisiting Spatial Invariance with Low-Rank Local Connectivity
• Title（参考訳）: 低位局所接続による空間不変性の再検討
• Authors: Gamaleldin F. Elsayed, Prajit Ramachandran, Jonathon Shlens, Simon Kornblith
• Abstract要約: 空間的不変性を緩和することで,畳み込み層と局所連結層の両方の分類精度が向上することを示す。 小さな畳み込みネットワークを用いた実験では、空間的不変性が畳み込み層と局所連結層の両方の分類精度を向上させることが判明した。
• 参考スコア（独自算出の注目度）: 33.430515807834254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks are among the most successful architectures in deep learning with this success at least partially attributable to the efficacy of spatial invariance as an inductive bias. Locally connected layers, which differ from convolutional layers only in their lack of spatial invariance, usually perform poorly in practice. However, these observations still leave open the possibility that some degree of relaxation of spatial invariance may yield a better inductive bias than either convolution or local connectivity. To test this hypothesis, we design a method to relax the spatial invariance of a network layer in a controlled manner; we create a \textit{low-rank} locally connected layer, where the filter bank applied at each position is constructed as a linear combination of basis set of filter banks with spatially varying combining weights. By varying the number of basis filter banks, we can control the degree of relaxation of spatial invariance. In experiments with small convolutional networks, we find that relaxing spatial invariance improves classification accuracy over both convolution and locally connected layers across MNIST, CIFAR-10, and CelebA datasets, thus suggesting that spatial invariance may be an overly restrictive prior.
• Abstract（参考訳）: 畳み込みニューラルネットワークはディープラーニングにおいて最も成功したアーキテクチャの1つであり、この成功は少なくとも部分的には帰納バイアスとして空間不変性の有効性に起因する。 局所連結層は、畳み込み層と異なり、空間的不変性が欠如しているため、通常はあまり機能しない。 しかし、これらの観測は、空間的不変性のある程度の緩和が、畳み込みや局所的接続よりもより良い帰納的バイアスをもたらす可能性を残している。 この仮説を検証するために,ネットワーク層の空間的不変性を制御的に緩和する手法を考案し,各位置に適用されたフィルタバンクを,空間的に変化する結合重みを持つフィルタバンクの基底集合の線形結合として構成する,局所連結層である \textit{low-rank} を作成する。 基底フィルタバンクの数を変化させることで,空間不変性の緩和度を制御できる。 小さな畳み込みネットワークを用いた実験では、空間不変性はMNIST, CIFAR-10, CelebAデータセット間の畳み込み層と局所連結層の両方の分類精度を向上させることが判明した。

関連論文リスト

• On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing [12.845681770287005]
  畳み込みニューラルネットワークのような重み共有、等分散、局所フィルタは、ニューラルネットワークのサンプル効率に寄与すると考えられている。 単一の隠蔽層ネットワークのクラスに対して,下層および上層における複雑性境界を求める。 境界はフィルターのノルムにのみ依存しており、これは各行列のスペクトルノルムよりも厳密であることを示す。
  論文  参考訳（メタデータ） (2024-11-21T16:36:01Z)
• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Digging Into Uncertainty-based Pseudo-label for Robust Stereo Matching [39.959000340261625]
  本稿では,ロバストなステレオマッチングのための不確実性推定法を提案する。 事前学習されたモデルを新しい領域に適応させるために,不確実性に基づく擬似ラベルを提案する。 本手法は,ロバスト・ビジョン・チャレンジ2020のステレオタスクにおいて,強いクロスドメイン,適応,共同一般化を示す。
  論文  参考訳（メタデータ） (2023-07-31T09:11:31Z)
• Studying inductive biases in image classification task [0.0]
  自己注意構造(SA)は、局所的に独立したフィルタを持ち、かつて人気だった畳み込みニューラルネットワーク(CNN)と矛盾する大きなカーネルを使用することができる。 文脈認識が重要な要素であることは明らかだが,CAパラメータの構築には大規模なローカル情報が必要ではなかった。
  論文  参考訳（メタデータ） (2022-10-31T08:43:26Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Rethinking Spatial Invariance of Convolutional Networks for Object Counting [119.83017534355842]
  局所連結ガウス核を用いて元の畳み込みフィルタを置き換え、密度写像の空間位置を推定する。 従来の研究から着想を得て,大規模なガウス畳み込みの近似を好意的に実装するために,翻訳不変性を伴う低ランク近似を提案する。 提案手法は,他の最先端手法を著しく上回り,物体の空間的位置の有望な学習を実現する。
  論文  参考訳（メタデータ） (2022-06-10T17:51:25Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。