論文の概要: Out-of-Distributed Semantic Pruning for Robust Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2305.18158v2
• Date: Tue, 30 May 2023 03:33:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 11:25:15.775506
• Title: Out-of-Distributed Semantic Pruning for Robust Semi-Supervised Learning
• Title（参考訳）: ロバストな半教師付き学習のための分散セマンティクスプラニング
• Authors: Yu Wang, Pengchong Qiao, Chang Liu, Guoli Song, Xiawu Zheng, Jie Chen
• Abstract要約: 我々は,OODセマンティック・プルーニング(OSP)と呼ばれる統合フレームワークを提案する。 OSPは、ID分類の精度を13.7%、TinyImageNetデータセットのOOD検出のAUROCの5.9%に上回っている。
• 参考スコア（独自算出の注目度）: 17.409939628100517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in robust semi-supervised learning (SSL) typically filter out-of-distribution (OOD) information at the sample level. We argue that an overlooked problem of robust SSL is its corrupted information on semantic level, practically limiting the development of the field. In this paper, we take an initial step to explore and propose a unified framework termed OOD Semantic Pruning (OSP), which aims at pruning OOD semantics out from in-distribution (ID) features. Specifically, (i) we propose an aliasing OOD matching module to pair each ID sample with an OOD sample with semantic overlap. (ii) We design a soft orthogonality regularization, which first transforms each ID feature by suppressing its semantic component that is collinear with paired OOD sample. It then forces the predictions before and after soft orthogonality decomposition to be consistent. Being practically simple, our method shows a strong performance in OOD detection and ID classification on challenging benchmarks. In particular, OSP surpasses the previous state-of-the-art by 13.7% on accuracy for ID classification and 5.9% on AUROC for OOD detection on TinyImageNet dataset. The source codes are publicly available at https://github.com/rain305f/OSP.
• Abstract（参考訳）: 堅牢な半教師付き学習(SSL)の最近の進歩は、典型的にはサンプルレベルでのアウト・オブ・ディストリビューション(OOD)情報をフィルタリングする。 我々は、ロバストSSLの見落とされがちな問題は、セマンティックレベルの情報の破損であり、フィールドの開発を事実上制限していると論じる。 本稿では,OODセマンティック・プルーニング (OSP) という,OODセマンティック・プルーニング(OOD Semantic Pruning, OODセマンティック・プルーニング, OODセマンティック・プルーニング, OODセマンティック・プルーニング, OODセマンティック・プルーニング, OODセマンティック・プルーニング, OODセマンティック・プルーニング, セマンティック・プルーニング, セマンティック・プルーニング, セマンティック・プルーニング, セマンティック・プルーニング, セマンティック・プルーニング(OODセマンティック・プルーニング, セマンティック・プルーニング) 具体的には i)各IDサンプルとOODサンプルをセマンティックオーバーラップしたペアリングOODマッチングモジュールを提案する。 (ii) ソフトな直交正規化をデザインし, ペアのoodサンプルと共線形な意味成分を抑圧することにより, まず各id特徴を変換する。 すると、ソフト直交分解の前後の予測が一貫するように強制される。 本手法は,OOD検出とID分類において,難易度の高いベンチマークで高い性能を示す。 特にOSPは、ID分類の精度を13.7%、TinyImageNetデータセットのOOD検出のAUROCを5.9%上回る。 ソースコードはhttps://github.com/rain305f/OSPで公開されている。

関連論文リスト

• Semantic or Covariate? A Study on the Intractable Case of Out-of-Distribution Detection [70.57120710151105]
  ID分布のセマンティック空間をより正確に定義する。 また,OOD と ID の区別性を保証する "Tractable OOD" の設定も定義する。
  論文  参考訳（メタデータ） (2024-11-18T03:09:39Z)
• Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
  既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。 いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。 この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-14T09:27:56Z)
• Classifier-head Informed Feature Masking and Prototype-based Logit Smoothing for Out-of-Distribution Detection [27.062465089674763]
  ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。 本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T12:42:17Z)
• From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
  アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。 近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。 グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
  論文  参考訳（メタデータ） (2023-08-20T11:56:25Z)
• Generalized Open-World Semi-Supervised Object Detection [22.058195650206944]
  本稿では, アンサンブルをベースとしたOODエクスプローラーと, 適応型半教師付きオブジェクト検出フレームワークを提案する。 提案手法は最先端のOOD検出アルゴリズムと競合し,IDクラスとOODクラスの両方の半教師付き学習性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-07-28T17:59:03Z)
• Holistic Sentence Embeddings for Better Out-of-Distribution Detection [12.640837452980332]
  Avg-Avg という単純な埋め込み手法を提案し,各中間層からのトークン表現を文埋め込みとして平均化する。 本分析は, 微調整PLMにおける言語知識の保存に有効であり, 背景変化の検出にも有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-14T03:22:58Z)
• Full-Spectrum Out-of-Distribution Detection [42.98617540431124]
  両シフトタイプを考慮し、フルスペクトルOOD(FS-OOD)検出を導入する。 本稿では,単純な特徴に基づくセマンティックススコア関数であるSEMを提案する。 SEMは現在の最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-04-11T17:59:14Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
  セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。 私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-03T17:09:56Z)
• Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning [54.85397562961903]
  ラベル付きデータに制限がある場合に、ラベルなしデータを利用して強力なモデルをトレーニングする半教師付き学習(SSL)が提案されている。 我々は、Open-set SSLと呼ばれるより複雑な新しいシナリオに対処する。 提案手法は,OOD試料の効果を除去し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-07-22T10:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。