論文の概要: Prediction Accuracy & Reliability: Classification and Object Localization under Distribution Shift
- arxiv url: http://arxiv.org/abs/2409.03543v1
- Date: Thu, 5 Sep 2024 14:06:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 20:28:22.284935
- Title: Prediction Accuracy & Reliability: Classification and Object Localization under Distribution Shift
- Title（参考訳）: 予測精度と信頼性:分布シフト下における分類と物体位置決め
- Authors: Fabian Diet, Moussa Kassem Sbeyti, Michelle Karg,
- Abstract要約: 本研究では,自然分布変化と気象増悪が検出品質および信頼性評価に与える影響について検討した。
公開されている自動運転データセットから、新しいデータセットがキュレートされた。
分散シフト中のCNNの粒度解析により、タスク性能と信頼性推定の両方に異なるタイプのシフトの影響を定量化することができる。
- 参考スコア（独自算出の注目度）: 1.433758865948252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural distribution shift causes a deterioration in the perception performance of convolutional neural networks (CNNs). This comprehensive analysis for real-world traffic data addresses: 1) investigating the effect of natural distribution shift and weather augmentations on both detection quality and confidence estimation, 2) evaluating model performance for both classification and object localization, and 3) benchmarking two common uncertainty quantification methods - Ensembles and different variants of Monte-Carlo (MC) Dropout - under natural and close-to-natural distribution shift. For this purpose, a novel dataset has been curated from publicly available autonomous driving datasets. The in-distribution (ID) data is based on cutouts of a single object, for which both class and bounding box annotations are available. The six distribution-shift datasets cover adverse weather scenarios, simulated rain and fog, corner cases, and out-of-distribution data. A granular analysis of CNNs under distribution shift allows to quantize the impact of different types of shifts on both, task performance and confidence estimation: ConvNeXt-Tiny is more robust than EfficientNet-B0; heavy rain degrades classification stronger than localization, contrary to heavy fog; integrating MC-Dropout into selected layers only has the potential to enhance task performance and confidence estimation, whereby the identification of these layers depends on the type of distribution shift and the considered task.
- Abstract（参考訳）: 自然分布シフトは、畳み込みニューラルネットワーク(CNN)の知覚性能の低下を引き起こす。
この現実世界の交通データアドレスの包括的分析
1) 自然分布変化と気象増進が検出品質および信頼性評価に与える影響について検討した。
2) 分類と物体の局所化の両面でのモデル性能の評価と評価
3)モンテカルロ(MC)ドロップアウトのアンサンブルと異なる変種 - 自然と自然に近い分布シフトの下での2つの一般的な不確実性定量法をベンチマークする。
この目的のために、公開されている自動運転データセットから、新しいデータセットがキュレートされた。
In-distriion (ID) データは単一のオブジェクトのカットアウトに基づいており、クラスとバウンディングボックスの両方のアノテーションが利用できる。
6つの分布シフトデータセットは、悪天候シナリオ、シミュレートされた雨と霧、コーナーケース、アウト・オブ・ディストリビューションデータを含んでいる。
ConvNeXt-TinyはEfficientNet-B0よりも堅牢であり、大雨は局部化よりも強力な分類を低下させ、選択した層にMC-Dropoutを統合することでタスク性能と信頼性の推定が向上し、これらレイヤの識別は分散シフトのタイプと考慮されたタスクに依存する。
関連論文リスト
- FOOGD: Federated Collaboration for Both Out-of-distribution Generalization and Detection [24.969694113366216]
Federated Learning(FL)は、クライアントモデルと連携してグローバルな知識を捉える、有望な機械学習パラダイムである。
実世界のシナリオにFLモデルをデプロイすることは、分布内データと予期せぬ分布外データの共存のため、依然として信頼性が低い。
本稿では,各クライアントの確率密度を推定し,信頼性の高いグローバル分布を求めるFOOGDを提案する。
論文 参考訳（メタデータ） (2024-10-15T08:39:31Z) - FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。
最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。
凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
論文 参考訳（メタデータ） (2024-02-27T15:53:15Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳（メタデータ） (2022-01-28T22:03:50Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Accuracy on the Line: On the Strong Correlation Between
Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。
具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。
また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
論文 参考訳（メタデータ） (2021-07-09T19:48:23Z) - Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。
分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。
具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文 参考訳（メタデータ） (2021-07-07T15:50:18Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。