論文の概要: Models Out of Line: A Fourier Lens on Distribution Shift Robustness
- arxiv url: http://arxiv.org/abs/2207.04075v1
- Date: Fri, 8 Jul 2022 18:05:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-14 07:08:41.182704
- Title: Models Out of Line: A Fourier Lens on Distribution Shift Robustness
- Title（参考訳）: ライン外モデル:分布シフトのロバスト性に関するフーリエレンズ
- Authors: Sara Fridovich-Keil, Brian R. Bartoldson, James Diffenderfer, Bhavya
Kailkhura, Peer-Timo Bremer
- Abstract要約: 分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。
近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。
効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
- 参考スコア（独自算出の注目度）: 29.12208822285158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Improving the accuracy of deep neural networks (DNNs) on out-of-distribution
(OOD) data is critical to an acceptance of deep learning (DL) in real world
applications. It has been observed that accuracies on in-distribution (ID)
versus OOD data follow a linear trend and models that outperform this baseline
are exceptionally rare (and referred to as "effectively robust"). Recently,
some promising approaches have been developed to improve OOD robustness: model
pruning, data augmentation, and ensembling or zero-shot evaluating large
pretrained models. However, there still is no clear understanding of the
conditions on OOD data and model properties that are required to observe
effective robustness. We approach this issue by conducting a comprehensive
empirical study of diverse approaches that are known to impact OOD robustness
on a broad range of natural and synthetic distribution shifts of CIFAR-10 and
ImageNet. In particular, we view the "effective robustness puzzle" through a
Fourier lens and ask how spectral properties of both models and OOD data
influence the corresponding effective robustness. We find this Fourier lens
offers some insight into why certain robust models, particularly those from the
CLIP family, achieve OOD robustness. However, our analysis also makes clear
that no known metric is consistently the best explanation (or even a strong
explanation) of OOD robustness. Thus, to aid future research into the OOD
puzzle, we address the gap in publicly-available models with effective
robustness by introducing a set of pretrained models--RobustNets--with varying
levels of OOD robustness.
- Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)データに対するディープニューラルネットワーク(DNN)の精度の向上は、現実世界のアプリケーションにおけるディープラーニング(DL)の受け入れに不可欠である。
分布内 (ID) と OOD データのアキュラシーは線形傾向に従っており、このベースラインを上回るモデルは非常に稀である(そして「効果的に堅牢」と呼ばれる)。
近年,oodのロバスト性向上のために,モデルプルーニング,データ拡張,大規模事前学習モデルに対するセンシングやゼロショット評価など,いくつかの有望なアプローチが開発されている。
しかし, 有効ロバスト性観測に必要なOODデータとモデル特性の条件について, まだ明確な理解が得られていない。
我々は,CIFAR-10 と ImageNet の自然および合成分布シフトに OOD のロバスト性に影響を与えることが知られている多様なアプローチの包括的実証研究により,この問題にアプローチする。
特に、フーリエレンズを通して「有効ロバスト性パズル」を考察し、モデルとOODデータのスペクトル特性が対応する有効ロバスト性に与える影響を問う。
このフーリエレンズは、特定のロバストモデル、特にCLIPファミリーがOODロバスト性を実現する理由に関する洞察を提供する。
しかし,本分析では,oodのロバスト性に関する最良の説明(あるいは強固な説明)は未知であることも明らかにしている。
そこで,oodパズルの今後の研究を支援するために,oodのロバストネットを用いた事前学習モデルを導入することで,有効なロバスト性を持つ公開モデルのギャップを解消する。
関連論文リスト
- Clarifying Myths About the Relationship Between Shape Bias, Accuracy, and Robustness [18.55761892159021]
ディープラーニングモデルは、トレーニングセットと同じ分布のイメージに対して評価すると、うまく機能する。
ディープラーニングモデルは、トレーニングセットと同じ分布のイメージに対して評価すると、うまく機能する。
モデルの入力画像に小さなぼかしを適用して、アウト・オブ・ディストリビューション(OOD)データでモデルに供給することで、モデルの精度を著しく低下させることができる。
データ拡張は、OODデータに対するモデルロバスト性を改善するための、十分に実践された方法の1つである。
論文 参考訳（メタデータ） (2024-06-07T15:21:00Z) - Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations [1.8531577178922987]
Overconfidence"は特定のニューラルネットワークアーキテクチャの本質的な性質であり、OOD検出の低さにつながる。
ニューラルネットワークの最後層における極端なアクティベーション値を計測し、この過信のプロキシを利用して、複数のOOD検出ベースラインを改善する。
基準値と比較すると,OOD検出は2桁に増加し,精度が向上することが多い。
論文 参考訳（メタデータ） (2024-05-21T10:14:50Z) - Advancing Out-of-Distribution Detection through Data Purification and
Dynamic Activation Function Design [12.45245390882047]
OOD-R(Out-of-Distribution-Rectified)は,ノイズ低減特性が向上したオープンソースデータセットの集合体である。
OOD-Rはノイズフィルタリング技術を導入してデータセットを洗練し、OOD検出アルゴリズムのより正確で信頼性の高い評価を確実にする。
本稿では,多様な入力に対するモデルの応答を微調整し,特徴抽出の安定性を向上させる革新的な方法であるActFunを提案する。
論文 参考訳（メタデータ） (2024-03-06T02:39:22Z) - OODRobustBench: a Benchmark and Large-Scale Analysis of Adversarial Robustness under Distribution Shift [20.14559162084261]
OODRobustBenchは60.7Kの敵評価を用いて706のロバストモデルを評価するために使用される。
この大規模解析は、敵対的ロバスト性は深刻なOOD一般化問題に苦しむことを示している。
次に、既存の手法が高いOODロバスト性を達成できないことを予測し、検証する。
論文 参考訳（メタデータ） (2023-10-19T14:50:46Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。
高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。
これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2022-10-12T17:54:59Z) - Harnessing Out-Of-Distribution Examples via Augmenting Content and Style [93.21258201360484]
機械学習モデルは、Out-Of-Distribution(OOD)の例に弱い。
本稿では,各画像インスタンスのコンテンツとスタイルを利用して良質なOODデータと悪性なOODデータを識別するHOOD法を提案する。
提案されている新しいアンタングル化とデータ拡張技術により、HOODは未知およびオープンな環境でのOODの例を効果的に扱うことができる。
論文 参考訳（メタデータ） (2022-07-07T08:48:59Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。