論文の概要: Clarifying Myths About the Relationship Between Shape Bias, Accuracy, and Robustness

• arxiv url: http://arxiv.org/abs/2406.05006v1
• Date: Fri, 7 Jun 2024 15:21:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:32:11.976227
• Title: Clarifying Myths About the Relationship Between Shape Bias, Accuracy, and Robustness
• Title（参考訳）: 形状バイアス, 精度, ロバスト性の関係に関する神話の解明
• Authors: Zahra Golpayegani, Patrick St-Amant, Nizar Bouguila,
• Abstract要約: ディープラーニングモデルは、トレーニングセットと同じ分布のイメージに対して評価すると、うまく機能する。 ディープラーニングモデルは、トレーニングセットと同じ分布のイメージに対して評価すると、うまく機能する。 モデルの入力画像に小さなぼかしを適用して、アウト・オブ・ディストリビューション(OOD)データでモデルに供給することで、モデルの精度を著しく低下させることができる。 データ拡張は、OODデータに対するモデルロバスト性を改善するための、十分に実践された方法の1つである。
• 参考スコア（独自算出の注目度）: 18.55761892159021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models can perform well when evaluated on images from the same distribution as the training set. However, applying small perturbations in the forms of noise, artifacts, occlusions, blurring, etc. to a model's input image and feeding the model with out-of-distribution (OOD) data can significantly drop the model's accuracy, making it not applicable to real-world scenarios. Data augmentation is one of the well-practiced methods to improve model robustness against OOD data; however, examining which augmentation type to choose and how it affects the OOD robustness remains understudied. There is a growing belief that augmenting datasets using data augmentations that improve a model's bias to shape-based features rather than texture-based features results in increased OOD robustness for Convolutional Neural Networks trained on the ImageNet-1K dataset. This is usually stated as ``an increase in the model's shape bias results in an increase in its OOD robustness". Based on this hypothesis, some works in the literature aim to find augmentations with higher effects on model shape bias and use those for data augmentation. By evaluating 39 types of data augmentations on a widely used OOD dataset, we demonstrate the impact of each data augmentation on the model's robustness to OOD data and further show that the mentioned hypothesis is not true; an increase in shape bias does not necessarily result in higher OOD robustness. By analyzing the results, we also find some biases in the ImageNet-1K dataset that can easily be reduced using proper data augmentation. Our evaluation results further show that there is not necessarily a trade-off between in-domain accuracy and OOD robustness, and choosing the proper augmentations can help increase both in-domain accuracy and OOD robustness simultaneously.
• Abstract（参考訳）: ディープラーニングモデルは、トレーニングセットと同じ分布のイメージに対して評価すると、うまく機能する。 しかし、モデルの入力画像にノイズ、アーティファクト、オクルージョン、ぼかしなどの形で小さな摂動を適用し、アウト・オブ・ディストリビューション(OOD)データでモデルに供給することで、モデルの精度を著しく低下させ、現実のシナリオには適用できない。 データ拡張は、OODデータに対するモデルロバスト性を改善するための、よく訓練された手法の1つであるが、どの拡張タイプを選択するか、それがOODロバスト性に与える影響について検討する。 ImageNet-1Kデータセットでトレーニングされた畳み込みニューラルネットワークでは、テクスチャベースの機能ではなく、モデルバイアスから形状ベースの機能へのバイアスを改善するために、データ拡張を使用したデータセットの強化が、OODロバスト性を向上させる、という信念が高まっている。 これは通常、「モデルの形状バイアスの増加は、OODロバスト性の増加をもたらす」と表現される。 この仮説に基づいて、この文献のいくつかの研究は、モデル形状バイアスにより高い影響を持つ拡張を見つけ、それらをデータ拡張に利用することを目的としている。 広く使われているOODデータセット上で39種類のデータ拡張を評価することにより、各データ拡張がOODデータに対するモデルの堅牢性に与える影響を実証し、さらに、上記の仮説が真実ではないことを示す。 結果を分析することで、ImageNet-1Kデータセットには、適切なデータ拡張によって簡単に削減できるバイアスがいくつか見出される。 さらに,本評価の結果から,ドメイン内精度とOODロバスト性の間には必ずしもトレードオフがあるわけではなく,適切な拡張を選択することで,ドメイン内精度とOODロバスト性の両方を同時に向上させることができることがわかった。

関連論文リスト

• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• HGOE: Hybrid External and Internal Graph Outlier Exposure for Graph Out-of-Distribution Detection [78.47008997035158]
  グラフデータはより多様性を示すが、摂動に対する堅牢性は低く、外れ値の統合を複雑にする。 我々は、グラフOOD検出性能を改善するために、textbfHybrid外部および内部の textbfGraph textbfOutlier textbfExposure (HGOE) の導入を提案する。
  論文  参考訳（メタデータ） (2024-07-31T16:55:18Z)
• Which Augmentation Should I Use? An Empirical Investigation of Augmentations for Self-Supervised Phonocardiogram Representation Learning [5.438725298163702]
  Contrastive Self-Supervised Learning (SSL)はラベル付きデータの不足に対する潜在的な解決策を提供する。 1次元心電図(PCG)分類におけるコントラスト学習の最適化を提案する。 トレーニング分布によっては、完全教師付きモデルの有効性が最大32%低下し、SSLモデルは最大10%低下し、場合によっては改善される。
  論文  参考訳（メタデータ） (2023-12-01T11:06:00Z)
• Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
  外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。 我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-09T04:36:38Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
  サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。 高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。 これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T17:54:59Z)
• Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
  分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。 近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。 効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
  論文  参考訳（メタデータ） (2022-07-08T18:05:58Z)
• Harnessing Out-Of-Distribution Examples via Augmenting Content and Style [93.21258201360484]
  機械学習モデルは、Out-Of-Distribution(OOD)の例に弱い。 本稿では,各画像インスタンスのコンテンツとスタイルを利用して良質なOODデータと悪性なOODデータを識別するHOOD法を提案する。 提案されている新しいアンタングル化とデータ拡張技術により、HOODは未知およびオープンな環境でのOODの例を効果的に扱うことができる。
  論文  参考訳（メタデータ） (2022-07-07T08:48:59Z)
• The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning [25.85044477227461]
  このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。 より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。 本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
  論文  参考訳（メタデータ） (2021-06-30T06:21:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。