論文の概要: Understanding and Testing Generalization of Deep Networks on
Out-of-Distribution Data
- arxiv url: http://arxiv.org/abs/2111.09190v2
- Date: Fri, 19 Nov 2021 05:18:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-22 12:44:45.805091
- Title: Understanding and Testing Generalization of Deep Networks on
Out-of-Distribution Data
- Title（参考訳）: 分布外データに基づくディープネットワークの一般化と検証
- Authors: Rui Hu, Jitao Sang, Jinqiang Wang, Rui Hu, Chaoquan Jiang
- Abstract要約: ディープネットワークモデルは、In-Distributionデータでは優れた性能を発揮するが、Out-Of-Distributionデータでは著しく失敗する可能性がある。
本研究は,実験的なIDテストの問題を分析し,OODテストパラダイムを設計することを目的とする。
- 参考スコア（独自算出の注目度）: 30.471871571256198
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep network models perform excellently on In-Distribution (ID) data, but can
significantly fail on Out-Of-Distribution (OOD) data. While developing methods
focus on improving OOD generalization, few attention has been paid to
evaluating the capability of models to handle OOD data. This study is devoted
to analyzing the problem of experimental ID test and designing OOD test
paradigm to accurately evaluate the practical performance. Our analysis is
based on an introduced categorization of three types of distribution shifts to
generate OOD data. Main observations include: (1) ID test fails in neither
reflecting the actual performance of a single model nor comparing between
different models under OOD data. (2) The ID test failure can be ascribed to the
learned marginal and conditional spurious correlations resulted from the
corresponding distribution shifts. Based on this, we propose novel OOD test
paradigms to evaluate the generalization capacity of models to unseen data, and
discuss how to use OOD test results to find bugs of models to guide model
debugging.
- Abstract（参考訳）: ディープネットワークモデルは、In-Distribution(ID)データでは優れた性能を発揮するが、Out-Of-Distribution(OOD)データでは著しく失敗する可能性がある。
OODの一般化の改善に焦点が当てられているが、OODデータを扱うモデルの性能を評価することにはほとんど注意が払われている。
本研究は,実験的なIDテストの問題を分析し,OODテストパラダイムを設計し,実用性能を正確に評価することを目的とする。
分析は,OODデータを生成するために,3種類の分布シフトの分類を導入した。
1) 単一モデルの実際の性能を反映せず、OODデータの下で異なるモデルの比較も行わない場合、IDテストは失敗する。
2) IDテストの失敗は, 対応する分布シフトから得られた学習限界と条件の急激な相関に説明できる。
そこで本研究では,OODテストの新たなパラダイムを提案するとともに,モデルデバッギングのガイドとなるモデルのバグを見つけるためのOODテスト結果の活用方法について検討する。
関連論文リスト
- Out-of-Distribution Learning with Human Feedback [26.398598663165636]
本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。
当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。
人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
論文 参考訳（メタデータ） (2024-08-14T18:49:27Z) - Rethinking Out-of-Distribution Detection on Imbalanced Data Distribution [38.844580833635725]
アーキテクチャ設計におけるバイアスを緩和し,不均衡なOOD検出器を増強する訓練時間正規化手法を提案する。
提案手法は,CIFAR10-LT,CIFAR100-LT,ImageNet-LTのベンチマークに対して一貫した改良を行う。
論文 参考訳（メタデータ） (2024-07-23T12:28:59Z) - A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。
本報告は,OOD評価の総合的な評価を行うための最初の試みである。
我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
論文 参考訳（メタデータ） (2024-03-04T09:30:35Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳（メタデータ） (2023-06-07T17:47:03Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric
Perspective [55.45202687256175]
アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。
本稿では,OOD検出における教師なし評価問題を初めて紹介する。
我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
論文 参考訳（メタデータ） (2023-02-16T13:34:35Z) - Towards Realistic Out-of-Distribution Detection: A Novel Evaluation
Framework for Improving Generalization in OOD Detection [14.541761912174799]
本稿では,OOD(Out-of-Distribution)検出のための新しい評価フレームワークを提案する。
より現実的な設定で機械学習モデルのパフォーマンスを評価することを目的としている。
論文 参考訳（メタデータ） (2022-11-20T07:30:15Z) - Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。
高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。
これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2022-10-12T17:54:59Z) - Towards Robust Visual Question Answering: Making the Most of Biased
Samples via Contrastive Learning [54.61762276179205]
我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。
具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。
我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
論文 参考訳（メタデータ） (2022-10-10T11:05:21Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T15:38:39Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。