論文の概要: An Effective Baseline for Robustness to Distributional Shift

• arxiv url: http://arxiv.org/abs/2105.07107v1
• Date: Sat, 15 May 2021 00:46:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 05:05:59.634162
• Title: An Effective Baseline for Robustness to Distributional Shift
• Title（参考訳）: 分散シフトに対するロバストネスの効果的なベースライン
• Authors: Sunil Thulasidasan, Sushil Thapa, Sayera Dhaubhadel, Gopinath Chennupati, Tanmoy Bhattacharya, Jeff Bilmes
• Abstract要約: ディープラーニングシステムの安全なデプロイには,トレーニング中に見られるものと異なる入力のカテゴリに直面した場合,確実な予測を控えることが重要な要件である。 本論文では, 吸収の原理を用いた分布異常検出の簡便かつ高効率な手法を提案する。
• 参考スコア（独自算出の注目度）: 5.627346969563955
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Refraining from confidently predicting when faced with categories of inputs different from those seen during training is an important requirement for the safe deployment of deep learning systems. While simple to state, this has been a particularly challenging problem in deep learning, where models often end up making overconfident predictions in such situations. In this work we present a simple, but highly effective approach to deal with out-of-distribution detection that uses the principle of abstention: when encountering a sample from an unseen class, the desired behavior is to abstain from predicting. Our approach uses a network with an extra abstention class and is trained on a dataset that is augmented with an uncurated set that consists of a large number of out-of-distribution (OoD) samples that are assigned the label of the abstention class; the model is then trained to learn an effective discriminator between in and out-of-distribution samples. We compare this relatively simple approach against a wide variety of more complex methods that have been proposed both for out-of-distribution detection as well as uncertainty modeling in deep learning, and empirically demonstrate its effectiveness on a wide variety of of benchmarks and deep architectures for image recognition and text classification, often outperforming existing approaches by significant margins. Given the simplicity and effectiveness of this method, we propose that this approach be used as a new additional baseline for future work in this domain.
• Abstract（参考訳）: ディープラーニングシステムの安全なデプロイには,トレーニング中に見られるものと異なる入力のカテゴリに直面した場合,確実な予測を控えることが重要な要件である。 しかし、これはディープラーニングにおいて特に難しい問題であり、モデルはしばしばそのような状況下で過度に信頼された予測をする。 本研究では,無意味なクラスからサンプルに遭遇した場合,予測を控えることが望ましいという,非分布検出の原則を取り入れた,シンプルだが効果的なアプローチを提案する。 提案手法では, 余剰の禁制クラスを持つネットワークを用いて, 多数の禁制クラスラベルを付与した多数のアウト・オブ・ディストリビューション (OoD) サンプルからなる未処理データセットを用いてトレーニングを行い, そのモデルを用いて, イン・オブ・オブ・ディストリビューション・サンプル間の効果的な差別化を学習する。 この比較的単純なアプローチを、分布外検出とディープラーニングの不確実性モデリングの両方で提案されている、より複雑な方法と比較し、画像認識やテキスト分類のための様々なベンチマークやディープアーキテクチャでその効果を実証し、既存のアプローチをかなりのマージンで上回っている。 この手法の単純さと有効性を考えると、このアプローチは、このドメインにおける将来の作業の新たなベースラインとして使われることを提案します。

関連論文リスト

• When Measures are Unreliable: Imperceptible Adversarial Perturbations toward Top-$k$ Multi-Label Learning [83.8758881342346]
  新しい損失関数は、視覚的および測定的不受容性を両立できる敵の摂動を生成するために考案された。 大規模ベンチマークデータセットを用いた実験により,提案手法が最上位の$kのマルチラベルシステムを攻撃する際の優位性を実証した。
  論文  参考訳（メタデータ） (2023-07-27T13:18:47Z)
• Large Class Separation is not what you need for Relational Reasoning-based OOD Detection [12.578844450586]
  Out-Of-Distribution (OOD) 検出法はセマンティックノベルティを識別して解を提供する。 これらの手法の多くは、既知のデータの学習段階を利用しており、これは正規性の概念を捉えるためのモデル(または微調整)を訓練することを意味する。 実行可能な代替手段は、大きな事前訓練されたモデルによって生成された埋め込み空間の類似性を評価することであり、それ以上の学習は行わない。
  論文  参考訳（メタデータ） (2023-07-12T14:10:15Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Simultaneous Perturbation Stochastic Approximation for Few-Shot Learning [0.5801044612920815]
  本稿では, プロトタイプ型ネットワーク手法に基づく, プロトタイプライクな少数ショット学習手法を提案する。 ベンチマークデータセットを用いた実験の結果,提案手法は元のネットワークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-09T09:47:58Z)
• Learning the Truth From Only One Side of the Story [58.65439277460011]
  一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。 理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-08T18:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。