論文の概要: Can Biases in ImageNet Models Explain Generalization?

• arxiv url: http://arxiv.org/abs/2404.01509v1
• Date: Mon, 1 Apr 2024 22:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 20:27:20.483780
• Title: Can Biases in ImageNet Models Explain Generalization?
• Title（参考訳）: イメージネットモデルにおけるバイアスは一般化を説明できるか?
• Authors: Paul Gavrikov, Janis Keuper,
• Abstract要約: 一般化は、現在のディープラーニング手法における大きな課題の1つです。 画像分類において、これは敵対的攻撃の存在、歪んだ画像のパフォーマンス低下、スケッチのような概念への一般化の欠如に現れている。 我々は,48のイメージネットモデルに対して,これらのバイアスが一般化とどのように相互作用するかを理解するために,異なるトレーニング手法を用いて得られた大規模な研究を行う。
• 参考スコア（独自算出の注目度）: 13.802802975822704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The robust generalization of models to rare, in-distribution (ID) samples drawn from the long tail of the training distribution and to out-of-training-distribution (OOD) samples is one of the major challenges of current deep learning methods. For image classification, this manifests in the existence of adversarial attacks, the performance drops on distorted images, and a lack of generalization to concepts such as sketches. The current understanding of generalization in neural networks is very limited, but some biases that differentiate models from human vision have been identified and might be causing these limitations. Consequently, several attempts with varying success have been made to reduce these biases during training to improve generalization. We take a step back and sanity-check these attempts. Fixing the architecture to the well-established ResNet-50, we perform a large-scale study on 48 ImageNet models obtained via different training methods to understand how and if these biases - including shape bias, spectral biases, and critical bands - interact with generalization. Our extensive study results reveal that contrary to previous findings, these biases are insufficient to accurately predict the generalization of a model holistically. We provide access to all checkpoints and evaluation code at https://github.com/paulgavrikov/biases_vs_generalization
• Abstract（参考訳）: トレーニング分布の長い尾から抽出されたまれな非分布(ID)サンプルと、トレーニング外分布(OOD)サンプルへのモデルの堅牢な一般化は、現在のディープラーニング手法における大きな課題の1つである。 画像分類において、これは敵対的攻撃の存在、歪んだ画像のパフォーマンス低下、スケッチのような概念への一般化の欠如に現れている。 ニューラルネットワークの一般化に関する現在の理解は非常に限られているが、人間のビジョンとモデルを区別するバイアスが特定されており、これらの制限を生じさせている可能性がある。 その結果、トレーニング中にこれらのバイアスを減らし、一般化を改善するために、様々な成功を収める試みがなされた。 私たちは一歩後退して、これらの試みを健全にチェックします。 アーキテクチャをよく確立されたResNet-50に固定し、異なるトレーニング手法を用いて得られた48のImageNetモデルに対して大規模な研究を行い、これらのバイアス(形状バイアス、スペクトルバイアス、クリティカルバンドなど)が一般化とどのように相互作用するかを理解した。 以上の結果から,これらのバイアスはモデル全体の一般化を正確に予測するには不十分であることが示唆された。 https://github.com/paulgavrikov/biases_vs_ Generalizationですべてのチェックポイントと評価コードへのアクセスを提供します。

関連論文リスト

• Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs [9.010643838773477]
  本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。 オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。 我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2023-10-17T09:22:22Z)
• An Extended Study of Human-like Behavior under Adversarial Training [11.72025865314187]
  ニューラルネットワークの形状バイアスへのシフトは, 対角訓練によって増加することを示す。 また、周波数の観点からこの現象を説明できる。
  論文  参考訳（メタデータ） (2023-03-22T15:47:16Z)
• When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
  ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-01T20:15:15Z)
• Rethinking Bias Mitigation: Fairer Architectures Make for Fairer Face Recognition [107.58227666024791]
  顔認識システムは、法執行を含む安全クリティカルなアプリケーションに広くデプロイされている。 彼らは、性別や人種など、様々な社会的デデノグラフィー次元に偏見を示す。 バイアス軽減に関するこれまでの研究は、主にトレーニングデータの事前処理に重点を置いていた。
  論文  参考訳（メタデータ） (2022-10-18T15:46:05Z)
• Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
  ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。 我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。 我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:51:50Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Visual Recognition with Deep Learning from Biased Image Datasets [6.10183951877597]
  視覚認知の文脈において、バイアスモデルがどのように治療問題に適用できるかを示す。 作業中のバイアス機構に関する(近似的な)知識に基づいて、我々のアプローチは観察を再重み付けする。 本稿では,画像データベース間で共有される低次元画像表現を提案する。
  論文  参考訳（メタデータ） (2021-09-06T10:56:58Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• EnD: Entangling and Disentangling deep representations for bias correction [7.219077740523682]
  本稿では,深層モデルが望ましくないバイアスを学習することを防止するための正規化戦略であるEnDを提案する。 特に、深層ニューラルネットワークの特定のポイントに「情報のボトルネック」を挿入し、バイアスに関する情報を分離する。 実験によると、EnDは偏りのないテストセットの一般化を効果的に改善する。
  論文  参考訳（メタデータ） (2021-03-02T20:55:42Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。