論文の概要: Studying inductive biases in image classification task

• arxiv url: http://arxiv.org/abs/2210.17141v1
• Date: Mon, 31 Oct 2022 08:43:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 17:55:12.747326
• Title: Studying inductive biases in image classification task
• Title（参考訳）: 画像分類課題における帰納バイアスの研究
• Authors: Nana Arizumi
• Abstract要約: 自己注意構造(SA)は、局所的に独立したフィルタを持ち、かつて人気だった畳み込みニューラルネットワーク(CNN)と矛盾する大きなカーネルを使用することができる。 文脈認識が重要な要素であることは明らかだが,CAパラメータの構築には大規模なローカル情報が必要ではなかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, self-attention (SA) structures became popular in computer vision fields. They have locally independent filters and can use large kernels, which contradicts the previously popular convolutional neural networks (CNNs). CNNs success was attributed to the hard-coded inductive biases of locality and spatial invariance. However, recent studies have shown that inductive biases in CNNs are too restrictive. On the other hand, the relative position encodings, similar to depthwise (DW) convolution, are necessary for the local SA networks, which indicates that the SA structures are not entirely spatially variant. Hence, we would like to determine which part of inductive biases contributes to the success of the local SA structures. To do so, we introduced context-aware decomposed attention (CADA), which decomposes attention maps into multiple trainable base kernels and accumulates them using context-aware (CA) parameters. This way, we could identify the link between the CNNs and SA networks. We conducted ablation studies using the ResNet50 applied to the ImageNet classification task. DW convolution could have a large locality without increasing computational costs compared to CNNs, but the accuracy saturates with larger kernels. CADA follows this characteristic of locality. We showed that context awareness was the crucial property; however, large local information was not necessary to construct CA parameters. Even though no spatial invariance makes training difficult, more relaxed spatial invariance gave better accuracy than strict spatial invariance. Also, additional strong spatial invariance through relative position encoding was preferable. We extended these experiments to filters for downsampling and showed that locality bias is more critical for downsampling but can remove the strong locality bias using relaxed spatial invariance.
• Abstract（参考訳）: 近年,コンピュータビジョン分野では自己注意構造が普及している。 ローカルに独立したフィルタを持ち、かつて人気があった畳み込みニューラルネットワーク(CNN)と矛盾する大きなカーネルを使用することができる。 CNNの成功は、局所性と空間的不変性のハードコード誘導バイアスに起因する。 しかし、最近の研究では、CNNの誘導バイアスは制限的すぎることが示されている。 一方,局部saネットワークでは,dw畳み込みに類似した相対的位置符号化が必要であり,sa構造は完全に空間的変異ではないことを示している。 したがって、帰納バイアスのどの部分が局所的なSA構造の成功に寄与するかを判断したい。 そこで我々は,複数のトレーニング可能なベースカーネルにアテンションマップを分解して,コンテキストアウェア(CA)パラメータを用いて蓄積する,コンテキストアウェア分解アテンション(CADA)を導入した。 こうすることで、cnnとsaネットワーク間のリンクを特定できます。 ImageNet分類タスクに適用したResNet50を用いてアブレーション研究を行った。 DW畳み込みはCNNと比較して計算コストを増大させることなく大きな局所性を持つが、精度はより大きなカーネルで飽和する。 CADAはこの特性の局所性に従う。 文脈認識は重要な特性であることがわかったが,CAパラメータの構築には大きなローカル情報が必要ではなかった。 空間的不変性は訓練を難しくするものではないが、よりリラックスした空間的不変性は厳密な空間的不変性よりも精度が高い。 また、相対的な位置符号化による強空間的不分散も好ましい。 これらの実験をダウンサンプリングのフィルタに拡張し,局所性バイアスはダウンサンプリングより重要であるが,ゆるやかな空間不変性を用いて強い局所性バイアスを除去できることを示した。

関連論文リスト

• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• CPR++: Object Localization via Single Coarse Point Supervision [55.8671776333499]
  粗い点修正(CPR)は、アルゴリズムの観点からの意味的分散を緩和する最初の試みである。 CPRは、アノテートされた最初のポイントを置き換えるために、近隣地域のセマンティックセンターポイントを選択することで意味のばらつきを減らす。 CPR++は、スケール情報を取得し、グローバル領域における意味的分散をさらに低減することができる。
  論文  参考訳（メタデータ） (2024-01-30T17:38:48Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Counting Varying Density Crowds Through Density Guided Adaptive Selection CNN and Transformer Estimation [25.050801798414263]
  人間は低密度領域の標的を見つけ、数え、高密度領域の数を推論する傾向がある。 本研究では,CNN と Transformer Adaptive Selection Network (CTASNet) を提案する。
  論文  参考訳（メタデータ） (2022-06-21T02:05:41Z)
• Rethinking Spatial Invariance of Convolutional Networks for Object Counting [119.83017534355842]
  局所連結ガウス核を用いて元の畳み込みフィルタを置き換え、密度写像の空間位置を推定する。 従来の研究から着想を得て,大規模なガウス畳み込みの近似を好意的に実装するために,翻訳不変性を伴う低ランク近似を提案する。 提案手法は,他の最先端手法を著しく上回り,物体の空間的位置の有望な学習を実現する。
  論文  参考訳（メタデータ） (2022-06-10T17:51:25Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Localized convolutional neural networks for geospatial wind forecasting [0.0]
  畳み込みニューラルネットワーク(CNN)は多くの空間データに関して正の特性を有する。 本研究では,CNNがグローバルな特徴に加えて,局所的な特徴を学習することのできる局所畳み込みニューラルネットワークを提案する。 どのような畳み込みレイヤにも追加可能で、簡単にエンドツーエンドのトレーニングが可能で、最小限の複雑さを導入でき、CNNは必要な範囲でそのメリットの大部分を維持できる。
  論文  参考訳（メタデータ） (2020-05-12T17:14:49Z)
• Understanding when spatial transformer networks do not support invariance, and what to do about it [0.0]
  空間トランスフォーマーネットワーク(STN)は、畳み込みニューラルネットワーク(CNN)が画像変換に不変性を学習できるように設計された。 我々はSTNが変換された画像の特徴マップと元の特徴マップを整列する能力を持っていないことを示す。 複雑な特徴を生かした代替STNアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2020-04-24T12:20:35Z)
• Revisiting Saliency Metrics: Farthest-Neighbor Area Under Curve [23.334584322129142]
  唾液度検出は様々な視覚応用において重要な役割を担っているため、広く研究されている。 それぞれの尺度が独自のバイアスを持っているため、サリエンシシステムを評価するのは難しい。 本稿では,より指向性の高い負の集合をサンプリングして評価することを目的とした,AUC特性に基づく新しいサリエンシ指標を提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:55:42Z)
• Revisiting Spatial Invariance with Low-Rank Local Connectivity [33.430515807834254]
  空間的不変性を緩和することで,畳み込み層と局所連結層の両方の分類精度が向上することを示す。 小さな畳み込みネットワークを用いた実験では、空間的不変性が畳み込み層と局所連結層の両方の分類精度を向上させることが判明した。
  論文  参考訳（メタデータ） (2020-02-07T18:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。