論文の概要: When and How Does Known Class Help Discover Unknown Ones? Provable
Understanding Through Spectral Analysis
- arxiv url: http://arxiv.org/abs/2308.05017v1
- Date: Wed, 9 Aug 2023 15:27:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 13:15:16.440338
- Title: When and How Does Known Class Help Discover Unknown Ones? Provable
Understanding Through Spectral Analysis
- Title(参考訳): 未知のクラスはいつ、どうやって発見できるのか?
スペクトル分析による確率的理解
- Authors: Yiyou Sun, Zhenmei Shi, Yingyu Liang, Yixuan Li
- Abstract要約: 新規クラス発見 (NCD) は、既知のクラスを持つラベル付きセットからの事前知識を活用することにより、ラベルなしセットで新しいクラスを推論することを目的としている。
本稿では, クラスがいつ, どのようにして新しいクラスを発見できるかを定式化し, 研究するための分析フレームワークを提供することで, ギャップを埋める。
- 参考スコア(独自算出の注目度): 35.57142091571271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel Class Discovery (NCD) aims at inferring novel classes in an unlabeled
set by leveraging prior knowledge from a labeled set with known classes.
Despite its importance, there is a lack of theoretical foundations for NCD.
This paper bridges the gap by providing an analytical framework to formalize
and investigate when and how known classes can help discover novel classes.
Tailored to the NCD problem, we introduce a graph-theoretic representation that
can be learned by a novel NCD Spectral Contrastive Loss (NSCL). Minimizing this
objective is equivalent to factorizing the graph's adjacency matrix, which
allows us to derive a provable error bound and provide the sufficient and
necessary condition for NCD. Empirically, NSCL can match or outperform several
strong baselines on common benchmark datasets, which is appealing for practical
usage while enjoying theoretical guarantees.
- Abstract(参考訳): 新規クラス発見 (NCD) は、既知のクラスを持つラベル付きセットからの事前知識を活用することにより、ラベルなしセットで新しいクラスを推論することを目的としている。
その重要性にもかかわらず、NCDの理論的基盤は欠如している。
本稿では,新しいクラスをいつ,どのように発見できるかを定式化し,検討するための分析フレームワークを提供することで,ギャップを埋める。
NCD問題に対応して,新しいNCDスペクトルコントラスト損失(NSCL)によって学習可能なグラフ理論表現を導入する。
この目的を最小化することはグラフの隣接行列を分解し、証明可能な誤差境界を導出し、NCDに十分かつ必要な条件を与えることができる。
NSCLは、理論的な保証を享受しながら、実用的な使用にアピールする一般的なベンチマークデータセットにおいて、いくつかの強力なベースラインを適合または上回ることができる。
関連論文リスト
- A Practical Approach to Novel Class Discovery in Tabular Data [40.34185280098731]
新規クラスディスカバリー(英: Novel Class Discovery, NCD)は、未知のクラスを正確に分割するために、ラベル付けされた既知のクラスの集合から知識を抽出する問題である。
本研究では、$k$-foldのクロスバリデーションプロセスを適用し、既知のクラスの一部を各フォルダに隠すことで、NCDメソッドのハイパーパラメータを調整することを提案する。
この手法の潜在空間は,新規クラスの数を確実に推定するために有効であることがわかった。
論文 参考訳(メタデータ) (2023-11-09T15:24:44Z) - A Graph-Theoretic Framework for Understanding Open-World Semi-Supervised
Learning [33.05104609131764]
オープンワールド半教師あり学習は、未知のデータに既知のクラスと新しいクラスの両方を推定することを目的としている。
本稿では,オープンワールド設定に適したグラフ理論フレームワークを定式化する。
我々のグラフ理論フレームワークは実用的なアルゴリズムを照らし、保証を提供する。
論文 参考訳(メタデータ) (2023-11-06T21:15:09Z) - Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳(メタデータ) (2023-10-28T06:41:47Z) - Don't Miss Out on Novelty: Importance of Novel Features for Deep Anomaly
Detection [64.21963650519312]
異常検出(AD)は、正規性の学習モデルに適合しない観察を識別する重要なタスクである。
本稿では, 入力空間における説明不能な観測として, 説明可能性を用いた新しいAD手法を提案する。
当社のアプローチでは,複数のベンチマークにまたがる新たな最先端性を確立し,さまざまな異常な型を扱う。
論文 参考訳(メタデータ) (2023-10-01T21:24:05Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - NEV-NCD: Negative Learning, Entropy, and Variance regularization based
novel action categories discovery [23.17093125627668]
新たなカテゴリディスカバリ(NCD)は、部分的にアノテートされたラベル空間からの学習を容易にする。
そこで我々は,新しい一段階共同最適化型NCD法,負学習,エントロピー,分散正規化NCDを提案する。
ビデオ行動認識のNCD応用におけるNEV-NCDの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-14T19:20:26Z) - Dynamic Conceptional Contrastive Learning for Generalized Category
Discovery [76.82327473338734]
Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。
ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。
GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。
本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-30T14:04:39Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental
Novel Class Discovery [76.35226130521758]
我々は,MSc-iNCDという,より挑戦的で実践的な学習パラダイムを提案する。
本研究では,MSc-iNCDという,より困難で実践的な学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-03-28T13:47:16Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳(メタデータ) (2022-11-21T18:47:11Z) - On the Tractability of Neural Causal Inference [19.417231973682366]
sum-product Network (SPN) は線形時間複雑性を提供する。
ニューラル因果モデル(NCM)は最近勢いを増し、機械学習に対する因果関係の緊密な統合を要求している。
我々は,SPNに基づく因果推論が標準的NCMとは対照的に,一般的には抽出可能であることを証明した。
論文 参考訳(メタデータ) (2021-10-22T20:38:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。