論文の概要: ROBIN : A Benchmark for Robustness to Individual Nuisances in Real-World
Out-of-Distribution Shifts
- arxiv url: http://arxiv.org/abs/2111.14341v2
- Date: Thu, 2 Dec 2021 11:53:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 12:18:17.382779
- Title: ROBIN : A Benchmark for Robustness to Individual Nuisances in Real-World
Out-of-Distribution Shifts
- Title(参考訳): robin : 実世界の分散シフトにおける個々の迷惑に対するロバスト性に関するベンチマーク
- Authors: Bingchen Zhao, Shaozuo Yu, Wufei Ma, Mingxin Yu, Shenxiao Mei, Angtian
Wang, Ju He, Alan Yuille, Adam Kortylewski
- Abstract要約: ROBINは、現実の画像における個々のニュアンスに対するビジョンアルゴリズムの堅牢性を診断するためのベンチマークデータセットである。
ROBINは、PASCAL VOC 2012とImageNetデータセットから10の厳格なカテゴリを構築する。
いくつかの一般的なベースラインに対して結果を提供し、興味深い観察を行う。
- 参考スコア(独自算出の注目度): 12.825391710803894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enhancing the robustness in real-world scenarios has been proven very
challenging. One reason is that existing robustness benchmarks are limited, as
they either rely on synthetic data or they simply measure robustness as
generalization between datasets and hence ignore the effects of individual
nuisance factors. In this work, we introduce ROBIN, a benchmark dataset for
diagnosing the robustness of vision algorithms to individual nuisances in
real-world images. ROBIN builds on 10 rigid categories from the PASCAL VOC 2012
and ImageNet datasets and includes out-of-distribution examples of the objects
3D pose, shape, texture, context and weather conditions. ROBIN is richly
annotated to enable benchmark models for image classification, object
detection, and 3D pose estimation. We provide results for a number of popular
baselines and make several interesting observations: 1. Some nuisance factors
have a much stronger negative effect on the performance compared to others.
Moreover, the negative effect of an OODnuisance depends on the downstream
vision task. 2. Current approaches to enhance OOD robustness using strong data
augmentation have only marginal effects in real-world OOD scenarios, and
sometimes even reduce the OOD performance. 3. We do not observe any significant
differences between convolutional and transformer architectures in terms of OOD
robustness. We believe our dataset provides a rich testbed to study the OOD
robustness of vision algorithms and will help to significantly push forward
research in this area.
- Abstract(参考訳): 実世界のシナリオにおける堅牢性の向上は、非常に困難であることが証明されている。
というのも、既存のロバスト性ベンチマークは、合成データに依存するか、データセット間の一般化としてロバスト性を測定するだけで、個々の迷惑要因の影響を無視するからである。
本研究では,実世界の画像における個々のニュアンスに対して,視覚アルゴリズムの堅牢性を診断するためのベンチマークデータセットであるROBINを紹介する。
ROBINは、PASCAL VOC 2012とImageNetデータセットから10の厳格なカテゴリを構築し、オブジェクトの3Dポーズ、形状、テクスチャ、コンテキスト、気象条件のアウト・オブ・ディストリビューションの例を含む。
ROBINは、画像分類、オブジェクト検出、および3Dポーズ推定のためのベンチマークモデルを可能にするために、豊富な注釈が付けられている。
私たちは、多くの人気のあるベースラインに対して結果を提供し、いくつかの興味深い観察を行います。
1. ニュアンス要因によっては, 性能に悪影響を及ぼす要因も少なくない。
さらに,oodnuisanceの負の効果は下流視タスクに依存する。
2. 強データ拡張によるOODの堅牢性向上に向けた最近のアプローチは, 現実のOODシナリオに限らず, 時にはOOD性能を低下させる。
3) OODの堅牢性の観点からは, 畳み込みアーキテクチャと変圧器アーキテクチャの間に有意な差異はみられない。
私たちのデータセットは、視覚アルゴリズムのOODロバスト性を研究するための豊富なテストベッドを提供し、この分野の研究を大幅に進める助けになるだろうと考えています。
関連論文リスト
- OOD-CV-v2: An extended Benchmark for Robustness to Out-of-Distribution
Shifts of Individual Nuisances in Natural Images [59.51657161097337]
OOD-CV-v2は、ポーズ、形状、テクスチャ、コンテキスト、気象条件の10のオブジェクトカテゴリのアウト・オブ・ディストリビューションの例を含むベンチマークデータセットである。
この新たなデータセットに加えて、一般的なベースライン手法を用いた広範な実験にも貢献する。
論文 参考訳(メタデータ) (2023-04-17T20:39:25Z) - Robo3D: Towards Robust and Reliable 3D Perception against Corruptions [58.306694836881235]
我々は,3次元検出器とセグメンタのロバスト性を,アウト・オブ・ディストリビューションのシナリオで検証するための,最初の総合的なベンチマークであるRobo3Dを紹介する。
気象条件の悪化,外乱,センサの故障などに起因する8種類の汚職について検討した。
本稿では,モデルレジリエンスを高めるための簡易なフレキシブルなボキセル化戦略とともに,密度に敏感なトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-30T17:59:17Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。
近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。
効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
論文 参考訳(メタデータ) (2022-07-08T18:05:58Z) - OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。
本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-07-19T15:46:38Z) - Contemplating real-world object classification [53.10151901863263]
Barbuらが最近提案したObjectNetデータセットを再分析した。
日常の状況に物を含むこと。
分離されたオブジェクトにディープモデルを適用すると、元の論文のようにシーン全体ではなく、約20~30%の性能改善が得られます。
論文 参考訳(メタデータ) (2021-03-08T23:29:59Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳(メタデータ) (2021-01-18T03:24:48Z) - Assessing out-of-domain generalization for robust building damage
detection [78.6363825307044]
建築損傷検出は、衛星画像にコンピュータビジョン技術を適用することで自動化することができる。
モデルは、トレーニングで利用可能な災害画像と、新しいイベントの画像の間の分散の変化に対して堅牢でなければならない。
今後はOOD体制に重点を置くべきだと我々は主張する。
論文 参考訳(メタデータ) (2020-11-20T10:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。