論文の概要: A Meta-Analysis of Distributionally-Robust Models
- arxiv url: http://arxiv.org/abs/2206.07565v1
- Date: Wed, 15 Jun 2022 14:31:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 22:17:39.250360
- Title: A Meta-Analysis of Distributionally-Robust Models
- Title(参考訳): 分布ロバストモデルのメタ解析
- Authors: Benjamin Feuer, Ameya Joshi, Chinmay Hegde
- Abstract要約: 本稿では,多種多様な公開モデルについてメタ分析を行う。
最適性能のOOD-robustモデルに対する4つの主要な共通点を実証的に同定する。
- 参考スコア(独自算出の注目度): 24.936204628969623
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: State-of-the-art image classifiers trained on massive datasets (such as
ImageNet) have been shown to be vulnerable to a range of both intentional and
incidental distribution shifts. On the other hand, several recent classifiers
with favorable out-of-distribution (OOD) robustness properties have emerged,
achieving high accuracy on their target tasks while maintaining their
in-distribution accuracy on challenging benchmarks. We present a meta-analysis
on a wide range of publicly released models, most of which have been published
over the last twelve months. Through this meta-analysis, we empirically
identify four main commonalities for all the best-performing OOD-robust models,
all of which illuminate the considerable promise of vision-language
pre-training.
- Abstract(参考訳): 大量のデータセット(ImageNetなど)でトレーニングされた最先端の画像分類器は、意図的および偶発的な分散シフトの両方に対して脆弱であることが示されている。
一方, 最適分布特性(OOD)を有する最近の分類器がいくつか出現し, 目標タスクに対して高い精度を達成しつつ, 挑戦的ベンチマーク上での分配精度を維持している。
本論文では,過去12ヶ月にわたって公開されてきた多種多様なモデルについてメタ分析を行った。
このメタアナリシスを通じて、最高のOOD-ロバストモデルに対する4つの主要な共通点を実証的に同定する。
関連論文リスト
- Non-Linear Outlier Synthesis for Out-of-Distribution Detection [5.019613806273252]
本稿では,拡散モデル埋め込み空間で直接操作することで,合成外乱器の品質を向上させるNCISを提案する。
これらの改良により,標準的な ImageNet100 および CIFAR100 ベンチマークにおいて,最先端の OOD 検出結果が得られた。
論文 参考訳(メタデータ) (2024-11-20T09:47:29Z) - Enhancement of Approximation Spaces by the Use of Primals and Neighborhood [0.0]
近隣と原始」からのインスピレーションを引き出す4つの新しい一般化された粗集合モデルを導入する。
我々は、現在のモデルは、粗い集合モデルに関連するほとんどすべての重要な側面を保存できると主張している。
また、我々の日常的な健康に関する問題に対して定義する新たな戦略が、より正確な発見をもたらすことも示している。
論文 参考訳(メタデータ) (2024-10-23T18:49:13Z) - Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。
これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。
CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
論文 参考訳(メタデータ) (2024-03-15T17:33:49Z) - On the Out of Distribution Robustness of Foundation Models in Medical
Image Segmentation [47.95611203419802]
視覚と言語の基礎は、様々な自然画像とテキストデータに基づいて事前訓練されており、有望なアプローチとして現れている。
一般化性能を,同じ分布データセット上で微調整した後,事前学習した各種モデルの未確認領域と比較した。
さらに,凍結モデルに対する新しいベイズ不確実性推定法を開発し,分布外データに基づくモデルの性能評価指標として利用した。
論文 参考訳(メタデータ) (2023-11-18T14:52:10Z) - Do-GOOD: Towards Distribution Shift Evaluation for Pre-Trained Visual
Document Understanding Models [68.12229916000584]
本研究では,文書画像関連タスクの微粒化解析のためのDO-GOOD(Out-of-distriion)ベンチマークを開発した。
次に、ロバスト性を評価し、5つの最新のVDU事前学習モデルと2つの典型的なOOD一般化アルゴリズムのきめ細かい解析を行う。
論文 参考訳(メタデータ) (2023-06-05T06:50:42Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Generalizability of Adversarial Robustness Under Distribution Shifts [57.767152566761304]
本研究は, 実証的, 証明された敵対的堅牢性間の相互作用と, ドメインの一般化を両立させるための第一歩を踏み出した。
複数のドメインでロバストモデルをトレーニングし、その正確性とロバスト性を評価する。
本研究は, 現実の医療応用をカバーするために拡張され, 敵の増大は, クリーンデータ精度に最小限の影響を伴って, 強靭性の一般化を著しく促進する。
論文 参考訳(メタデータ) (2022-09-29T18:25:48Z) - BEDS-Bench: Behavior of EHR-models under Distributional Shift--A
Benchmark [21.040754460129854]
OOD設定下でのEHRデータ上でのMLモデルの振る舞いを定量化するベンチマークであるBEDS-Benchをリリースする。
BEDS-Bench の学習アルゴリズムを複数評価した結果,一般に分布シフト下での一般化性能の低下が判明した。
論文 参考訳(メタデータ) (2021-07-17T05:53:24Z) - Estimating the Robustness of Classification Models by the Structure of
the Learned Feature-Space [10.418647759223964]
固定テストセットは、可能なデータバリエーションのごく一部しかキャプチャできないため、制限され、新しい過度なソリューションを生成する傾向にある、と私たちは主張する。
これらの欠点を克服するために、学習した特徴空間の構造から直接モデルのロバスト性を推定することを提案する。
論文 参考訳(メタデータ) (2021-06-23T10:52:29Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。