論文の概要: A Tale of Two Cities: Data and Configuration Variances in Robust Deep
Learning
- arxiv url: http://arxiv.org/abs/2211.10012v1
- Date: Fri, 18 Nov 2022 03:32:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 15:55:52.649770
- Title: A Tale of Two Cities: Data and Configuration Variances in Robust Deep
Learning
- Title(参考訳): 2つの都市の物語:ロバスト深層学習におけるデータと構成変数
- Authors: Guanqin Zhang, Jiankun Sun, Feng Xu, H.M.N. Dilum Bandara, Shiping
Chen, Yulei Sui, Tim Menzies
- Abstract要約: ディープニューラルネットワーク(DNN)は、画像認識、サプライチェーン、診断、自律運転など、多くの産業で広く利用されている。
これまでの研究では、入力データと外部環境が常に変化しているため、DNNモデルの高精度さは、高いロバスト性を示すものではなかった。
- 参考スコア(独自算出の注目度): 27.498927971861068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs), are widely used in many industries such as image
recognition, supply chain, medical diagnosis, and autonomous driving. However,
prior work has shown the high accuracy of a DNN model does not imply high
robustness (i.e., consistent performances on new and future datasets) because
the input data and external environment (e.g., software and model
configurations) for a deployed model are constantly changing. Hence, ensuring
the robustness of deep learning is not an option but a priority to enhance
business and consumer confidence. Previous studies mostly focus on the data
aspect of model variance. In this article, we systematically summarize DNN
robustness issues and formulate them in a holistic view through two important
aspects, i.e., data and software configuration variances in DNNs. We also
provide a predictive framework to generate representative variances
(counterexamples) by considering both data and configurations for robust
learning through the lens of search-based optimization.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は、画像認識、サプライチェーン、医療診断、自動運転など、多くの産業で広く利用されている。
しかしながら、DNNモデルの高い精度は、デプロイされたモデルに対する入力データと外部環境(例えば、ソフトウェアとモデル構成)が常に変化しているため、高い堅牢性(すなわち、新しいデータセットと将来のデータセットにおける一貫したパフォーマンス)を示唆しないことを示している。
したがって、ディープラーニングの堅牢性を保証することは選択肢ではなく、ビジネスと消費者の信頼を高めるための優先事項である。
これまでの研究は主にモデル分散のデータ側面に焦点を当ててきた。
本稿では、DNNのロバスト性問題を体系的に要約し、DNNにおけるデータとソフトウェア構成のばらつきという2つの重要な側面を通して全体論的な視点で定式化する。
また,検索に基づく最適化のレンズを通して,頑健な学習のためのデータと構成の両方を考慮して,代表分散(カウンタサンプル)を生成する予測フレームワークを提供する。
関連論文リスト
- Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Pseudo-Trilateral Adversarial Training for Domain Adaptive
Traversability Prediction [8.145900996884993]
トラバーサビリティ予測は、自律ナビゲーションの基本的な認識能力である。
非教師なしドメイン適応(UDA)を行うために、粗大なアライメント(CALI)を採用する新しい知覚モデルを提案する。
いくつかの挑戦的なドメイン適応設定において、提案したモデルが複数のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-26T00:39:32Z) - Uncertainty-aware deep learning for digital twin-driven monitoring:
Application to fault detection in power lines [0.0]
ディープニューラルネットワーク(DNN)はしばしば物理ベースのモデルやデータ駆動サロゲートモデルと結合され、低データ状態のシステムの障害検出と健康モニタリングを行う。
これらのモデルは、生成されたデータに伝播するパラメトリック不確実性を示すことができる。
本稿では,これら2つの不確実性源がDNNの性能に与える影響を定量化する。
論文 参考訳(メタデータ) (2023-03-20T09:27:58Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。
具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。
我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2022-05-08T08:19:40Z) - Characterizing and Understanding the Behavior of Quantized Models for
Reliable Deployment [32.01355605506855]
量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。
診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。
我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
論文 参考訳(メタデータ) (2022-04-08T11:19:16Z) - Exploiting the Potential of Datasets: A Data-Centric Approach for Model
Robustness [48.70325679650579]
本稿では,既存のディープニューラルネットワークの多くに有効であるデータセット拡張のための新しいアルゴリズムを提案する。
Alibaba GroupとTsinghua Universityが主催するデータ中心の堅牢な学習コンペで、私たちのアルゴリズムは3000以上の競合企業から3位に入った。
論文 参考訳(メタデータ) (2022-03-10T12:16:32Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。