論文の概要: Informative Dropout for Robust Representation Learning: A Shape-bias Perspective

• arxiv url: http://arxiv.org/abs/2008.04254v1
• Date: Mon, 10 Aug 2020 16:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 22:11:22.568572
• Title: Informative Dropout for Robust Representation Learning: A Shape-bias Perspective
• Title（参考訳）: ロバスト表現学習のための情報ドロップアウト:形状バイアスの視点から
• Authors: Baifeng Shi, Dinghuai Zhang, Qi Dai, Zhanxing Zhu, Yadong Mu, Jingdong Wang
• Abstract要約: Informative Dropout (InfoDrop) と呼ばれる軽量モデル非依存の手法を提案し, 解釈性の向上とテクスチャバイアスの低減を図る。 具体的には、画像中の局所的な自己情報に基づいて形状からテクスチャを識別し、Dropoutのようなアルゴリズムを用いて局所的なテクスチャからのモデル出力をデコレーションする。
• 参考スコア（独自算出の注目度）: 84.30946377024297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) are known to rely more on local texture rather than global shape when making decisions. Recent work also indicates a close relationship between CNN's texture-bias and its robustness against distribution shift, adversarial perturbation, random corruption, etc. In this work, we attempt at improving various kinds of robustness universally by alleviating CNN's texture bias. With inspiration from the human visual system, we propose a light-weight model-agnostic method, namely Informative Dropout (InfoDrop), to improve interpretability and reduce texture bias. Specifically, we discriminate texture from shape based on local self-information in an image, and adopt a Dropout-like algorithm to decorrelate the model output from the local texture. Through extensive experiments, we observe enhanced robustness under various scenarios (domain generalization, few-shot classification, image corruption, and adversarial perturbation). To the best of our knowledge, this work is one of the earliest attempts to improve different kinds of robustness in a unified model, shedding new light on the relationship between shape-bias and robustness, also on new approaches to trustworthy machine learning algorithms. Code is available at https://github.com/bfshi/InfoDrop.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、決定を行う際のグローバルな形状よりも、局所的なテクスチャに依存することが知られている。 最近の研究は、CNNのテクスチャバイアスと、分布シフト、敵の摂動、ランダムな腐敗などに対する頑健さの密接な関係も示している。 本研究では,CNNのテクスチャバイアスを緩和することにより,多種多様なロバスト性の向上を図る。 本研究では,人間の視覚システムからインスピレーションを得て,情報的ドロップアウト(infodrop)と呼ばれる軽量なモデル非依存手法を提案し,解釈性の向上とテクスチャバイアスの低減を図る。 具体的には,画像中の局所的な自己情報に基づいてテクスチャと形状を判別し,ドロップアウトライクなアルゴリズムを適用し,そのモデル出力を局所テクスチャから分離する。 様々なシナリオ(ドメインの一般化、少数ショットの分類、画像の破損、対向的摂動)で強靭性を観察する。 私たちの知る限りでは、この研究は統一されたモデルにおける様々な種類の堅牢性を改善するための最も初期の試みの1つであり、形状バイアスと堅牢性の関係に新たな光を当て、また信頼できる機械学習アルゴリズムに対する新しいアプローチにも焦点を当てている。 コードはhttps://github.com/bfshi/infodropで入手できる。

関連論文リスト

• Emergence of Shape Bias in Convolutional Neural Networks through Activation Sparsity [8.54598311798543]
  現在の物体認識のためのディープラーニングモデルはテクスチャに大きく偏っている。 対照的に、人間の視覚系は形状や構造に偏っていることが知られている。 脳内のユビキタスな原理であるスパースコーディングは、それ自体がネットワークに形状バイアスをもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2023-10-29T04:07:52Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Random Padding Data Augmentation [23.70951896315126]
  畳み込みニューラルネットワーク(CNN)は、画像内の異なる位置で同じ物体を学習する。 CNNにおける特徴情報の空間的情報の有用性はよく研究されていない。 我々はCNNを訓練するための新しいタイプのパディング手法であるランダムパディングを紹介する。
  論文  参考訳（メタデータ） (2023-02-17T04:15:33Z)
• Does enhanced shape bias improve neural network robustness to common corruptions? [14.607217936005817]
  最近の研究は、ImageNetで訓練されたCNNがテクスチャをエンコードする機能に偏っていることを示している。 異なる画像スタイルでトレーニングデータを増強すると、このテクスチャバイアスが減少し、形状バイアスが増加することが示されている。 自然画像や明示的なエッジ情報,スタイライゼーションに基づいて,入力を構成するさまざまな方法に関する体系的な研究を行う。
  論文  参考訳（メタデータ） (2021-04-20T07:06:53Z)
• Shape-Texture Debiased Neural Network Training [50.6178024087048]
  畳み込みニューラルネットワークは、トレーニングデータセットによって、テクスチャまたは形状にバイアスされることが多い。 形状・テクスチャ・デバイアスド学習のためのアルゴリズムを開発した。 実験により,本手法は複数の画像認識ベンチマークにおけるモデル性能の向上に成功していることが示された。
  論文  参考訳（メタデータ） (2020-10-12T19:16:12Z)
• Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
  我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。 提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
  論文  参考訳（メタデータ） (2020-09-18T17:52:34Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)
• Teaching CNNs to mimic Human Visual Cognitive Process & regularise Texture-Shape bias [18.003188982585737]
  コンピュータビジョンにおける最近の実験は、畳み込みニューラルネットワーク(CNN)を用いたモデルにおいて、テクスチャバイアスが最高の結果の主因であることを実証している。 コスト関数は、CNNが欲張りなアプローチを採り、テクスチャのような局所的な情報に対する生産性を向上させ、その結果、グローバルな統計を探索することができないと信じられている。 画像の再構成と分類に形状,テクスチャ,エッジなどの人間の解釈可能な特徴を活用するために,心理学における特徴統合理論から着想を得た,新しい直感的なアーキテクチャであるCognitiveCNNを提案する。
  論文  参考訳（メタデータ） (2020-06-25T22:32:54Z)
• The shape and simplicity biases of adversarially robust ImageNet-trained CNNs [9.707679445925516]
  本稿では,AlexNet,GoogLeNet,ResNet-50モデルの汎用性を実現するための形状バイアスと内部機構について検討する。 興味深いことに、敵の訓練はCNNの「不正化」過程において隠れたニューロンに3つの単純バイアスを誘導する。
  論文  参考訳（メタデータ） (2020-06-16T16:38:16Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。