論文の概要: Efficient Unsupervised Visual Representation Learning with Explicit Cluster Balancing
- arxiv url: http://arxiv.org/abs/2407.11168v1
- Date: Mon, 15 Jul 2024 18:44:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 19:31:15.429342
- Title: Efficient Unsupervised Visual Representation Learning with Explicit Cluster Balancing
- Title（参考訳）: 明示的クラスタバランシングを用いた教師なし視覚表現学習
- Authors: Ioannis Maniadis Metaxas, Georgios Tzimiropoulos, Ioannis Patras,
- Abstract要約: グループ(またはクラスタ)の識別は、自己教師あり学習において最も成功した方法の1つである。
この問題に対処するフレームワークであるExCBを,新しいクラスタ分散手法により提案する。
我々は,我々のアプローチを評価するための広範囲な実験を行い,ExCBが最先端の成果を達成できることを実証した。
- 参考スコア（独自算出の注目度）: 31.388915471815398
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Self-supervised learning has recently emerged as the preeminent pretraining paradigm across and between modalities, with remarkable results. In the image domain specifically, group (or cluster) discrimination has been one of the most successful methods. However, such frameworks need to guard against heavily imbalanced cluster assignments to prevent collapse to trivial solutions. Existing works typically solve this by reweighing cluster assignments to promote balance, or with offline operations (e.g. regular re-clustering) that prevent collapse. However, the former typically requires large batch sizes, which leads to increased resource requirements, and the latter introduces scalability issues with regard to large datasets. In this work, we propose ExCB, a framework that tackles this problem with a novel cluster balancing method. ExCB estimates the relative size of the clusters across batches and balances them by adjusting cluster assignments, proportionately to their relative size and in an online manner. Thereby, it overcomes previous methods' dependence on large batch sizes and is fully online, and therefore scalable to any dataset. We conduct extensive experiments to evaluate our approach and demonstrate that ExCB: a) achieves state-of-the-art results with significantly reduced resource requirements compared to previous works, b) is fully online, and therefore scalable to large datasets, and c) is stable and effective even with very small batch sizes.
- Abstract（参考訳）: 自己指導型学習は、近年、モダリティの至る所で重要な事前学習パラダイムとして出現し、顕著な成果を上げている。
特に画像領域では、グループ(またはクラスタ)の識別が最も成功した手法の1つである。
しかし、そのようなフレームワークは、簡単なソリューションの崩壊を防ぐために、非常に不均衡なクラスタ割り当てに対してガードする必要がある。
既存の作業は、バランスを促進するためにクラスタ割り当てを再検討することや、崩壊を防ぐためのオフライン操作(通常の再クラスタ化など)によって、この問題を解決するのが一般的である。
しかしながら、前者は一般的に大きなバッチサイズを必要とするため、リソース要求が増大し、後者は大きなデータセットに関するスケーラビリティの問題を引き起こす。
本研究では,新しいクラスタ分散手法を用いて,この問題に対処するフレームワークであるExCBを提案する。
ExCBはクラスタの相対サイズをバッチ全体にわたって推定し、クラスタ割り当てを調整し、相対サイズに比例し、オンライン的にバランスをとる。
これにより、以前のメソッドの大規模なバッチサイズへの依存を克服し、完全にオンラインであるため、任意のデータセットにスケーラブルになる。
われわれのアプローチを評価するために広範な実験を行い、ExCBを実証する。
a) これまでの作業に比べて資源要件を著しく低減した最先端の結果を達成すること。
b) 完全にオンラインであり、従って大規模なデータセットにスケーラブルであり、
c) 非常に小さなバッチサイズでも安定して有効である。
関連論文リスト
- Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T08:59:51Z) - GCC: Generative Calibration Clustering [55.44944397168619]
本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。
まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。
第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
論文 参考訳（メタデータ） (2024-04-14T01:51:11Z) - Large Scale Constrained Clustering With Reinforcement Learning [1.3597551064547502]
ネットワークが与えられた場合、各ノードではなく、クラスタレベルでリソースを割り当てることによって、リソースの割り当てと使用効率が向上する。
本稿では,この制約付きクラスタリング問題を強化学習を用いて解く手法を提案する。
結果の節では,大規模インスタンスにおいても,アルゴリズムが最適に近い解を見つけることを示す。
論文 参考訳（メタデータ） (2024-02-15T18:27:18Z) - Stable Cluster Discrimination for Deep Clustering [7.175082696240088]
ディープクラスタリングは、インスタンスの表現(つまり、表現学習)を最適化し、固有のデータ分散を探索することができる。
結合された目的は、すべてのインスタンスが一様機能に崩壊する、自明な解決策を意味する。
本研究では,1段階クラスタリングにおいて,教師あり学習における一般的な識別タスクが不安定であることを示す。
新規な安定クラスタ識別(SeCu)タスクを提案し、それに応じて新しいハードネス対応クラスタリング基準を得ることができる。
論文 参考訳（メタデータ） (2023-11-24T06:43:26Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳（メタデータ） (2023-07-26T16:19:19Z) - Hard Regularization to Prevent Deep Online Clustering Collapse without
Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。
オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。
本稿では,データ拡張を必要としない手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T08:23:26Z) - Meta Clustering Learning for Large-scale Unsupervised Person
Re-identification [124.54749810371986]
メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。
MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。
提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
論文 参考訳（メタデータ） (2021-11-19T04:10:18Z) - Unsupervised Visual Representation Learning by Online Constrained
K-Means [44.38989920488318]
クラスタ識別は、教師なし表現学習の効果的な前提課題である。
オンラインtextbfConstrained textbfK-mtextbfeans (textbfCoKe) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。
当社のオンライン割当て方式は,グローバルな最適化に近づくための理論的保証を持っている。
論文 参考訳（メタデータ） (2021-05-24T20:38:32Z) - Efficient Large-Scale Face Clustering Using an Online Mixture of
Gaussians [1.3101369903953806]
大規模オンライン顔クラスタリングのためのオンラインガウス混合クラスタリング法(OGMC)を提案する。
受信面から抽出された特徴ベクトル(fベクトル)を使用して、OGMCは、その近接性と堅牢性に応じて、他の人と接続できるクラスタを生成します。
実験の結果,提案手法は大規模フェースクラスタリングベンチマークにおける最先端のクラスタリング手法を上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-31T17:59:38Z) - Learning to Cluster Faces via Confidence and Connectivity Estimation [136.5291151775236]
重複する部分グラフを多数必要とせず,完全に学習可能なクラスタリングフレームワークを提案する。
提案手法はクラスタリングの精度を大幅に向上させ,その上で訓練した認識モデルの性能を向上させるが,既存の教師付き手法に比べて桁違いに効率的である。
論文 参考訳（メタデータ） (2020-04-01T13:39:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。