論文の概要: Exploring Resiliency to Natural Image Corruptions in Deep Learning using Design Diversity

• arxiv url: http://arxiv.org/abs/2303.09283v1
• Date: Wed, 15 Mar 2023 08:54:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 15:31:06.973749
• Title: Exploring Resiliency to Natural Image Corruptions in Deep Learning using Design Diversity
• Title（参考訳）: デザイン多様性を用いた深層学習における自然画像破損に対するレジリエンスの検討
• Authors: Rafael Rosales, Pablo Munoz, Michael Paulitsch
• Abstract要約: 本研究では,多様性指標,精度,レジリエンスとディープラーニング(DL)画像アンサンブルの自然画像汚損との関係について検討する。 我々のモチベーションは設計の多様性の分析研究に基づいており、設計選択の多様性が達成されれば、共通の失敗モードの削減が可能であることを示した。
• 参考スコア（独自算出の注目度）: 0.6445605125467573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate the relationship between diversity metrics, accuracy, and resiliency to natural image corruptions of Deep Learning (DL) image classifier ensembles. We investigate the potential of an attribution-based diversity metric to improve the known accuracy-diversity trade-off of the typical prediction-based diversity. Our motivation is based on analytical studies of design diversity that have shown that a reduction of common failure modes is possible if diversity of design choices is achieved. Using ResNet50 as a comparison baseline, we evaluate the resiliency of multiple individual DL model architectures against dataset distribution shifts corresponding to natural image corruptions. We compare ensembles created with diverse model architectures trained either independently or through a Neural Architecture Search technique and evaluate the correlation of prediction-based and attribution-based diversity to the final ensemble accuracy. We evaluate a set of diversity enforcement heuristics based on negative correlation learning to assess the final ensemble resilience to natural image corruptions and inspect the resulting prediction, activation, and attribution diversity. Our key observations are: 1) model architecture is more important for resiliency than model size or model accuracy, 2) attribution-based diversity is less negatively correlated to the ensemble accuracy than prediction-based diversity, 3) a balanced loss function of individual and ensemble accuracy creates more resilient ensembles for image natural corruptions, 4) architecture diversity produces more diversity in all explored diversity metrics: predictions, attributions, and activations.
• Abstract（参考訳）: 本稿では,Deep Learning (DL) 画像分類器アンサンブルの自然画像劣化に対する多様性指標,精度,レジリエンスの関係について検討する。 帰属に基づく多様性指標の可能性を検証し、典型的な予測に基づく多様性の既知の精度・多様性トレードオフを改善する。 我々のモチベーションは設計の多様性の分析研究に基づいており、設計選択の多様性が達成されれば、共通の失敗モードの削減が可能であることを示した。 比較ベースラインとしてresnet50を用いて、自然画像の破損に対応するデータセットの分散シフトに対する複数のdlモデルアーキテクチャのレジリエンスを評価する。 学習したモデルアーキテクチャを用いて作成したアンサンブルとニューラルネットワークによる探索手法を比較し,最終アンサンブル精度に対する予測に基づく多様性と帰属に基づく多様性の相関性を評価する。 負相関学習に基づく一連の多様性強制ヒューリスティックスを評価し,自然画像破壊に対する最終アンサンブルレジリエンスを評価し,その結果の予測,活性化,帰属多様性を検証した。 私たちの重要な観察は 1) モデルアーキテクチャは,モデルサイズやモデルの精度よりもレジリエンスに重要である。 2)帰属に基づく多様性は,予測に基づく多様性よりもアンサンブル精度に負の相関が小さい。 3)個人とアンサンブルのバランスのとれた損失関数は,画像の自然破壊に対してよりレジリエントなアンサンブルを生成する。 4) アーキテクチャの多様性は、予測、帰属、アクティベーションといった、調査対象の多様性メトリクスすべてにおいて、より多くの多様性を生み出します。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Unsupervised Feature Orthogonalization for Learning Distortion-Invariant Representations [0.13108652488669734]
  本研究では、教師なし特徴の直交化と視覚変換器の能力を統合する新しい手法であるunORANIC+を紹介する。 unORANIC+の合理化アーキテクチャは、解剖学的および画像特異的な属性を効果的に分離し、堅牢で偏りのない潜在表現をもたらす。 大規模な実験は、UnORANIC+の復元能力、腐敗の回復力、および既存の画像歪みを修正する能力を示す。 本手法を先進的な医用画像解析のための有望なアルゴリズムとして位置づけた,多様な画像ソースとサンプルサイズのデータセットへの適応性を確認した。
  論文  参考訳（メタデータ） (2024-09-18T19:25:38Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Interpretable Diversity Analysis: Visualizing Feature Representations In Low-Cost Ensembles [0.0]
  本稿では,多様性を定性的に分析できるいくつかの解釈可能性手法を提案する。 2つの低コストアンサンブルアルゴリズムを用いて,子ネットワーク間の特徴表現の多様性を比較することによって,これらの手法を実証する。
  論文  参考訳（メタデータ） (2023-02-12T00:32:03Z)
• Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
  信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。 TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-04-25T03:48:49Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Diversity and Generalization in Neural Network Ensembles [0.0]
  これまでに公表された結果を、多様性とアンサンブルのパフォーマンスの関係を記述した理論的に健全な枠組みで組み合わせて拡張する。 多様性を測定する方法、多様性がアンサンブルの一般化誤差とどのように関係しているか、そして、ニューラルネットワークアンサンブルアルゴリズムによって多様性が促進されるか、といった質問に対して、音声による回答を提供する。
  論文  参考訳（メタデータ） (2021-10-26T15:41:10Z)
• Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity [6.495473856599276]
  アンサンブルラーニング(英: Ensemble Learning)とは、複数の基本学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。 学習者の精度とアンサンブルの多様性の適切なバランスは、ベンチマークや実世界のデータセット上での機械学習タスクのパフォーマンスを向上させることができる。 最近の理論的および実践的な研究は、アンサンブルの精度と多様性の間の微妙なトレードオフを実証している。
  論文  参考訳（メタデータ） (2021-09-29T00:43:57Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。