論文の概要: Understanding Open-Set Recognition by Jacobian Norm of Representation

• arxiv url: http://arxiv.org/abs/2209.11436v1
• Date: Fri, 23 Sep 2022 06:31:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 16:39:53.652218
• Title: Understanding Open-Set Recognition by Jacobian Norm of Representation
• Title（参考訳）: Jacobian Norm of Representation によるオープンセット認識の理解
• Authors: Jaewoo Park, Hojin Park, Eunju Jeong, Andrew Beng Jin Teoh
• Abstract要約: オープンセット認識は、トレーニング中にモデルに見えない未知のクラスの存在を前提としている。 OSRにおける主要なアプローチの1つはメートル法学習であり、モデルが既知のクラスデータのクラス間表現を分離するように訓練されている。 本稿では、ジャコビアン表現のノルムを観察することにより、この創発現象を解析する。
• 参考スコア（独自算出の注目度）: 16.818401142963268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In contrast to conventional closed-set recognition, open-set recognition (OSR) assumes the presence of an unknown class, which is not seen to a model during training. One predominant approach in OSR is metric learning, where a model is trained to separate the inter-class representations of known class data. Numerous works in OSR reported that, even though the models are trained only with the known class data, the models become aware of the unknown, and learn to separate the unknown class representations from the known class representations. This paper analyzes this emergent phenomenon by observing the Jacobian norm of representation. We theoretically show that minimizing the intra-class distances within the known set reduces the Jacobian norm of known class representations while maximizing the inter-class distances within the known set increases the Jacobian norm of the unknown class. The closed-set metric learning thus separates the unknown from the known by forcing their Jacobian norm values to differ. We empirically validate our theoretical framework with ample pieces of evidence using standard OSR datasets. Moreover, under our theoretical framework, we explain how the standard deep learning techniques can be helpful for OSR and use the framework as a guiding principle to develop an effective OSR model.
• Abstract（参考訳）: 従来のクローズドセット認識とは対照的に、オープンセット認識(OSR)は訓練中にモデルに見られない未知のクラスの存在を前提としている。 OSRにおける主要なアプローチはメトリック学習であり、モデルが既知のクラスデータのクラス間表現を分離するために訓練される。 OSRの多くの研究は、モデルが既知のクラスデータでのみ訓練されているにもかかわらず、モデルは未知のクラスデータを認識し、未知のクラス表現を既知のクラス表現から分離することを学ぶと報告した。 本稿では,この創発現象をジャコビアン表現のノルムを観測することで解析する。 理論的には、既知の集合内のクラス内距離の最小化は既知のクラス表現のジャコビアンノルムを減少させ、既知の集合内のクラス間距離を最大化することで未知のクラスのジャコビアンノルムを増加させる。 閉集合計量学習は、ヤコビアンノルムの値が異なることを強制することによって未知を既知のものと区別する。 我々は、標準OSRデータセットを用いて、十分な証拠で理論的枠組みを実証的に検証する。 さらに,我々の理論的枠組みでは,標準ディープラーニング技術がOSRにどのように役立つかを説明し,このフレームワークを効果的なOSRモデルを開発するための指針として利用する。

関連論文リスト

• Exploiting Structure in Offline Multi-Agent RL: The Benefits of Low Interaction Rank [52.831993899183416]
  相互作用ランクという構造的仮定を導入し、相互作用ランクの低い関数が一般的なものよりも分布シフトに対して著しく堅牢であることを示す。 我々は,非正規化と非正規化学習と組み合わせることで,オフラインMARLにおける分散的,計算的,統計的に効率的な学習が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-10-01T22:16:22Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• LORD: Leveraging Open-Set Recognition with Unknown Data [10.200937444995944]
  LORDは未知のデータを活用することでオープンセット認識を活用するためのフレームワークである。 我々は、背景データを利用した3つのモデルに依存しない訓練戦略を特定し、それらを確立された分類器に適用する。
  論文  参考訳（メタデータ） (2023-08-24T06:12:41Z)
• Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering [15.678104431835772]
  我々はリレーショナル知識蒸留(RKD)の理論的理解に向けて最初の一歩を踏み出した。 半教師付き学習では,クラスタ認識学習の一般的な枠組みを通じて,RKDのラベル効率を実証する。 正確なクラスタリングを学習する共通の効果にもかかわらず、RKDは"グローバル"な視点を促進する。
  論文  参考訳（メタデータ） (2023-07-20T17:05:51Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [60.80849503639896]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)
• A Survey on Open Set Recognition [0.0]
  オープンセット認識(OSR)とは、トレーニング中にモデルから学ばなかった未知の状況を扱うことである。 本稿では、OSRに関する既存の研究について調査を行い、それぞれの利点と欠点を区別する。 実世界の未知のインスタンスをOSRが適切に扱えることは、トレーニングデータ中の全てのクラスをキャプチャすることは現実的ではない、と結論付けている。
  論文  参考訳（メタデータ） (2021-08-18T16:40:03Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
  Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。 従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。 コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
  論文  参考訳（メタデータ） (2021-03-03T20:20:48Z)
• Adversarial Reciprocal Points Learning for Open Set Recognition [21.963137599375862]
  オープンセット認識(OSR)は、見たクラスを同時に分類し、見えないクラスを「未知」と識別することを目的としている。 我々は,マルチクラス統合の観点から,オープンスペースリスク問題を定式化する。 未知分布と未知分布の重複を最小限に抑えるために,ARPL(Adrial Reciprocal Point Learning)と呼ばれる新しい学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:25:45Z)
• Open-Set Recognition with Gaussian Mixture Variational Autoencoders [91.3247063132127]
  推論において、オープンセット分類は、サンプルをトレーニングから既知のクラスに分類するか、未知のクラスとして拒絶するかのどちらかである。 我々は,協調的に再構築を学習し,潜在空間におけるクラスベースのクラスタリングを行うよう,我々のモデルを訓練する。 我々のモデルは、より正確で堅牢なオープンセット分類結果を実現し、平均的なF1改善率は29.5%である。
  論文  参考訳（メタデータ） (2020-06-03T01:15:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。