論文の概要: A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization

• arxiv url: http://arxiv.org/abs/2410.21807v2
• Date: Wed, 30 Oct 2024 01:34:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 09:40:45.466723
• Title: A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization
• Title（参考訳）: 非負行列分解による一般化カテゴリー発見の新展開
• Authors: Zhong Ji, Shuo Yang, Jingren Liu, Yanwei Pang, Jungong Han,
• Abstract要約: Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。 現在のアプローチでは、コサイン類似性に基づく共起行列 $barA$ の固有の最適化に不適切に対処している。 本稿では,これらの欠陥に対処するNon-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 83.12938977698988
• License:
• Abstract: Generalized Category Discovery (GCD) aims to classify both base and novel images using labeled base data. However, current approaches inadequately address the intrinsic optimization of the co-occurrence matrix $\bar{A}$ based on cosine similarity, failing to achieve zero base-novel regions and adequate sparsity in base and novel domains. To address these deficiencies, we propose a Non-Negative Generalized Category Discovery (NN-GCD) framework. It employs Symmetric Non-negative Matrix Factorization (SNMF) as a mathematical medium to prove the equivalence of optimal K-means with optimal SNMF, and the equivalence of SNMF solver with non-negative contrastive learning (NCL) optimization. Utilizing these theoretical equivalences, it reframes the optimization of $\bar{A}$ and K-means clustering as an NCL optimization problem. Moreover, to satisfy the non-negative constraints and make a GCD model converge to a near-optimal region, we propose a GELU activation function and an NMF NCE loss. To transition $\bar{A}$ from a suboptimal state to the desired $\bar{A}^*$, we introduce a hybrid sparse regularization approach to impose sparsity constraints. Experimental results show NN-GCD outperforms state-of-the-art methods on GCD benchmarks, achieving an average accuracy of 66.1\% on the Semantic Shift Benchmark, surpassing prior counterparts by 4.7\%.
• Abstract（参考訳）: Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。 しかし、現在のアプローチでは、コサイン類似性に基づく共起行列 $\bar{A}$ の内在的最適化が不十分であり、ベース・ノーベル領域をゼロとし、ベース・アンド・ノベル領域における適切な疎度を達成できなかった。 これらの欠陥に対処するために,Non-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。 対称非負行列因子分解(SNMF)を数学的媒体として用いて、最適なK平均と最適なSNMFの等価性を証明し、非負のコントラスト学習(NCL)最適化を用いたSNMFソルバの等価性を証明している。 これらの理論的等価性を利用して、NCL最適化問題として$\bar{A}$とK平均クラスタリングの最適化を再構成する。 さらに,非負の制約を満たし,GCDモデルを準最適領域に収束させるため,GELUアクティベーション関数とNMF NCE損失を提案する。 準最適状態から所望の$\bar{A}^*$に遷移するために、スパース制約を課すハイブリッドスパース正規化アプローチを導入する。 実験の結果、NN-GCDはGCDベンチマークの最先端手法よりも優れており、セマンティックシフトベンチマークの平均精度は66.1\%であり、以前のベンチマークよりも4.7\%高い。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Regularization and Optimization in Model-Based Clustering [4.096453902709292]
  k-平均アルゴリズムの変種は、本質的に同じ球面ガウスの混合と、そのような分布から大きく逸脱するデータに適合する。 一般のGMMに対してより効率的な最適化アルゴリズムを開発し、これらのアルゴリズムと正規化戦略を組み合わせ、過度な適合を避ける。 これらの結果から, GMM と k-means 法の間の現状に新たな光を当て, 一般 GMM をデータ探索に利用することが示唆された。
  論文  参考訳（メタデータ） (2023-02-05T18:22:29Z)
• The Power of Regularization in Solving Extensive-Form Games [22.557806157585834]
  本稿では,ゲームにおける支払関数の正規化に基づく新しいアルゴリズムを提案する。 特に、拡張された楽観的ミラー降下(DOMD)が高速な$tilde O(T)$ last-iterate convergenceを達成できることを示す。 また、Reg-CFRは、楽観的ミラー降下アルゴリズムの変形を最小化して、$O(T1/4)$ベストイテレート、$O(T3/4)$平均イテレート収束率を達成できることを示した。
  論文  参考訳（メタデータ） (2022-06-19T22:10:38Z)
• Log-based Sparse Nonnegative Matrix Factorization for Data Representation [55.72494900138061]
  非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。 そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。 提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
  論文  参考訳（メタデータ） (2022-04-22T11:38:10Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
  本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。 これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)
• Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently [18.89597524771988]
  非負行列分解(NMF)は、機械学習における多くの応用において、基本的な非修飾最適化問題である。 本稿では,サドル点を同時にかつ確実に回避する乗法的重み更新型力学(Seung algorithm)を定義する。 重要な利点は、並列コンピューティング環境で並列実装を使用することである。
  論文  参考訳（メタデータ） (2020-02-26T06:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。