論文の概要: Understanding Open-Set Recognition by Jacobian Norm and Inter-Class Separation

• arxiv url: http://arxiv.org/abs/2209.11436v2
• Date: Fri, 29 Sep 2023 15:06:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 19:37:31.319145
• Title: Understanding Open-Set Recognition by Jacobian Norm and Inter-Class Separation
• Title（参考訳）: Jacobian Normによるオープンセット認識の理解とクラス間分離
• Authors: Jaewoo Park, Hojin Park, Eunju Jeong, Andrew Beng Jin Teoh
• Abstract要約: 本研究では,ジャコビアンの表現規範とクラス間学習ダイナミクスの関係について検討する。 我々は,強いクラス間分離を促進する限界的な1-vs-rest(m-OvR)損失関数を考案する。
• 参考スコア（独自算出の注目度）: 16.40441221109391
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The findings on open-set recognition (OSR) show that models trained on classification datasets are capable of detecting unknown classes not encountered during the training process. Specifically, after training, the learned representations of known classes dissociate from the representations of the unknown class, facilitating OSR. In this paper, we investigate this emergent phenomenon by examining the relationship between the Jacobian norm of representations and the inter/intra-class learning dynamics. We provide a theoretical analysis, demonstrating that intra-class learning reduces the Jacobian norm for known class samples, while inter-class learning increases the Jacobian norm for unknown samples, even in the absence of direct exposure to any unknown sample. Overall, the discrepancy in the Jacobian norm between the known and unknown classes enables OSR. Based on this insight, which highlights the pivotal role of inter-class learning, we devise a marginal one-vs-rest (m-OvR) loss function that promotes strong inter-class separation. To further improve OSR performance, we integrate the m-OvR loss with additional strategies that maximize the Jacobian norm disparity. We present comprehensive experimental results that support our theoretical observations and demonstrate the efficacy of our proposed OSR approach.
• Abstract（参考訳）: オープンセット認識(osr)の知見は、分類データセットでトレーニングされたモデルが、トレーニングプロセス中に見当たらない未知のクラスを検出することができることを示している。 具体的には、学習後、既知のクラスの学習表現は未知のクラスの表現から解離し、OSRを促進する。 本稿では,この創発現象について,表現のジャコビアンノルムとクラス間学習ダイナミクスの関係について検討する。 本稿では,クラス内学習が既知のクラスサンプルのジャコビアンノルムを減少させる一方で,クラス間学習が未知サンプルのジャコビアンノルムを増大させることを示す理論的解析を行う。 全体として、既知のクラスと未知クラスの間のヤコビノルムの相違はOSRを可能にする。 クラス間学習の重要な役割を強調するこの洞察に基づいて、クラス間分離を促進する限界的one-vs-rest(m-ovr)損失関数を考案する。 OSRの性能をさらに向上するため、我々はm-OvR損失をヤコビ標準差を最大化する追加戦略と統合する。 提案するOSR手法の有効性を実証し,理論観測を支援する総合的な実験結果を示す。

関連論文リスト

• Exploiting Structure in Offline Multi-Agent RL: The Benefits of Low Interaction Rank [52.831993899183416]
  相互作用ランクという構造的仮定を導入し、相互作用ランクの低い関数が一般的なものよりも分布シフトに対して著しく堅牢であることを示す。 我々は,非正規化と非正規化学習と組み合わせることで,オフラインMARLにおける分散的,計算的,統計的に効率的な学習が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-10-01T22:16:22Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• LORD: Leveraging Open-Set Recognition with Unknown Data [10.200937444995944]
  LORDは未知のデータを活用することでオープンセット認識を活用するためのフレームワークである。 我々は、背景データを利用した3つのモデルに依存しない訓練戦略を特定し、それらを確立された分類器に適用する。
  論文  参考訳（メタデータ） (2023-08-24T06:12:41Z)
• Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering [15.678104431835772]
  我々はリレーショナル知識蒸留(RKD)の理論的理解に向けて最初の一歩を踏み出した。 半教師付き学習では,クラスタ認識学習の一般的な枠組みを通じて,RKDのラベル効率を実証する。 正確なクラスタリングを学習する共通の効果にもかかわらず、RKDは"グローバル"な視点を促進する。
  論文  参考訳（メタデータ） (2023-07-20T17:05:51Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [60.80849503639896]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)
• A Survey on Open Set Recognition [0.0]
  オープンセット認識(OSR)とは、トレーニング中にモデルから学ばなかった未知の状況を扱うことである。 本稿では、OSRに関する既存の研究について調査を行い、それぞれの利点と欠点を区別する。 実世界の未知のインスタンスをOSRが適切に扱えることは、トレーニングデータ中の全てのクラスをキャプチャすることは現実的ではない、と結論付けている。
  論文  参考訳（メタデータ） (2021-08-18T16:40:03Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
  Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。 従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。 コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
  論文  参考訳（メタデータ） (2021-03-03T20:20:48Z)
• Adversarial Reciprocal Points Learning for Open Set Recognition [21.963137599375862]
  オープンセット認識(OSR)は、見たクラスを同時に分類し、見えないクラスを「未知」と識別することを目的としている。 我々は,マルチクラス統合の観点から,オープンスペースリスク問題を定式化する。 未知分布と未知分布の重複を最小限に抑えるために,ARPL(Adrial Reciprocal Point Learning)と呼ばれる新しい学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:25:45Z)
• Open-Set Recognition with Gaussian Mixture Variational Autoencoders [91.3247063132127]
  推論において、オープンセット分類は、サンプルをトレーニングから既知のクラスに分類するか、未知のクラスとして拒絶するかのどちらかである。 我々は,協調的に再構築を学習し,潜在空間におけるクラスベースのクラスタリングを行うよう,我々のモデルを訓練する。 我々のモデルは、より正確で堅牢なオープンセット分類結果を実現し、平均的なF1改善率は29.5%である。
  論文  参考訳（メタデータ） (2020-06-03T01:15:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。