論文の概要: Exploring Resiliency to Natural Image Corruptions in Deep Learning using Design Diversity

• arxiv url: http://arxiv.org/abs/2303.09283v1
• Date: Wed, 15 Mar 2023 08:54:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 15:31:06.973749
• Title: Exploring Resiliency to Natural Image Corruptions in Deep Learning using Design Diversity
• Title（参考訳）: デザイン多様性を用いた深層学習における自然画像破損に対するレジリエンスの検討
• Authors: Rafael Rosales, Pablo Munoz, Michael Paulitsch
• Abstract要約: 本研究では,多様性指標,精度,レジリエンスとディープラーニング(DL)画像アンサンブルの自然画像汚損との関係について検討する。 我々のモチベーションは設計の多様性の分析研究に基づいており、設計選択の多様性が達成されれば、共通の失敗モードの削減が可能であることを示した。
• 参考スコア（独自算出の注目度）: 0.6445605125467573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate the relationship between diversity metrics, accuracy, and resiliency to natural image corruptions of Deep Learning (DL) image classifier ensembles. We investigate the potential of an attribution-based diversity metric to improve the known accuracy-diversity trade-off of the typical prediction-based diversity. Our motivation is based on analytical studies of design diversity that have shown that a reduction of common failure modes is possible if diversity of design choices is achieved. Using ResNet50 as a comparison baseline, we evaluate the resiliency of multiple individual DL model architectures against dataset distribution shifts corresponding to natural image corruptions. We compare ensembles created with diverse model architectures trained either independently or through a Neural Architecture Search technique and evaluate the correlation of prediction-based and attribution-based diversity to the final ensemble accuracy. We evaluate a set of diversity enforcement heuristics based on negative correlation learning to assess the final ensemble resilience to natural image corruptions and inspect the resulting prediction, activation, and attribution diversity. Our key observations are: 1) model architecture is more important for resiliency than model size or model accuracy, 2) attribution-based diversity is less negatively correlated to the ensemble accuracy than prediction-based diversity, 3) a balanced loss function of individual and ensemble accuracy creates more resilient ensembles for image natural corruptions, 4) architecture diversity produces more diversity in all explored diversity metrics: predictions, attributions, and activations.
• Abstract（参考訳）: 本稿では,Deep Learning (DL) 画像分類器アンサンブルの自然画像劣化に対する多様性指標,精度,レジリエンスの関係について検討する。 帰属に基づく多様性指標の可能性を検証し、典型的な予測に基づく多様性の既知の精度・多様性トレードオフを改善する。 我々のモチベーションは設計の多様性の分析研究に基づいており、設計選択の多様性が達成されれば、共通の失敗モードの削減が可能であることを示した。 比較ベースラインとしてresnet50を用いて、自然画像の破損に対応するデータセットの分散シフトに対する複数のdlモデルアーキテクチャのレジリエンスを評価する。 学習したモデルアーキテクチャを用いて作成したアンサンブルとニューラルネットワークによる探索手法を比較し,最終アンサンブル精度に対する予測に基づく多様性と帰属に基づく多様性の相関性を評価する。 負相関学習に基づく一連の多様性強制ヒューリスティックスを評価し,自然画像破壊に対する最終アンサンブルレジリエンスを評価し,その結果の予測,活性化,帰属多様性を検証した。 私たちの重要な観察は 1) モデルアーキテクチャは,モデルサイズやモデルの精度よりもレジリエンスに重要である。 2)帰属に基づく多様性は,予測に基づく多様性よりもアンサンブル精度に負の相関が小さい。 3)個人とアンサンブルのバランスのとれた損失関数は,画像の自然破壊に対してよりレジリエントなアンサンブルを生成する。 4) アーキテクチャの多様性は、予測、帰属、アクティベーションといった、調査対象の多様性メトリクスすべてにおいて、より多くの多様性を生み出します。

関連論文リスト

• Interpretable Diversity Analysis: Visualizing Feature Representations In Low-Cost Ensembles [0.0]
  本稿では,多様性を定性的に分析できるいくつかの解釈可能性手法を提案する。 2つの低コストアンサンブルアルゴリズムを用いて,子ネットワーク間の特徴表現の多様性を比較することによって,これらの手法を実証する。
  論文  参考訳（メタデータ） (2023-02-12T00:32:03Z)
• Similarity of Neural Architectures Based on Input Gradient Transferability [35.605761786374515]
  2つのネットワークの対向サンプルを生成し、各ネットワークの対向サンプルの平均精度を計測する。 我々の研究結果は、異なるニューラルネットワークアーキテクチャと相互作用する際に、モデルの多様性が重要な役割を担っていることを示している。
  論文  参考訳（メタデータ） (2022-10-20T16:56:47Z)
• Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
  信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。 TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-04-25T03:48:49Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Diversity and Generalization in Neural Network Ensembles [0.0]
  これまでに公表された結果を、多様性とアンサンブルのパフォーマンスの関係を記述した理論的に健全な枠組みで組み合わせて拡張する。 多様性を測定する方法、多様性がアンサンブルの一般化誤差とどのように関係しているか、そして、ニューラルネットワークアンサンブルアルゴリズムによって多様性が促進されるか、といった質問に対して、音声による回答を提供する。
  論文  参考訳（メタデータ） (2021-10-26T15:41:10Z)
• Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity [6.495473856599276]
  アンサンブルラーニング(英: Ensemble Learning)とは、複数の基本学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。 学習者の精度とアンサンブルの多様性の適切なバランスは、ベンチマークや実世界のデータセット上での機械学習タスクのパフォーマンスを向上させることができる。 最近の理論的および実践的な研究は、アンサンブルの精度と多様性の間の微妙なトレードオフを実証している。
  論文  参考訳（メタデータ） (2021-09-29T00:43:57Z)
• Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
  2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。 フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。 本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
  論文  参考訳（メタデータ） (2021-01-05T18:54:11Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。