論文の概要: Probing clustering in neural network representations

• arxiv url: http://arxiv.org/abs/2311.07864v1
• Date: Tue, 14 Nov 2023 02:33:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 15:41:22.668836
• Title: Probing clustering in neural network representations
• Title（参考訳）: ニューラルネットワーク表現におけるクラスタリングの探索
• Authors: Thao Nguyen, Simon Kornblith
• Abstract要約: ニューラルネットワークトレーニングにおける多くの設計選択が、隠れた表現で形成されたクラスタにどのように影響するかを検討する。 トレーニングデータセットとアーキテクチャを、クラスタビリティに影響を及ぼす重要な要因として分離します。 正規化戦略はどの層が最高のクラスタリング性能をもたらすかに影響します。
• 参考スコア（独自算出の注目度）: 30.640266399583613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network representations contain structure beyond what was present in the training labels. For instance, representations of images that are visually or semantically similar tend to lie closer to each other than to dissimilar images, regardless of their labels. Clustering these representations can thus provide insights into dataset properties as well as the network internals. In this work, we study how the many design choices involved in neural network training affect the clusters formed in the hidden representations. To do so, we establish an evaluation setup based on the BREEDS hierarchy, for the task of subclass clustering after training models with only superclass information. We isolate the training dataset and architecture as important factors affecting clusterability. Datasets with labeled classes consisting of unrelated subclasses yield much better clusterability than those following a natural hierarchy. When using pretrained models to cluster representations on downstream datasets, models pretrained on subclass labels provide better clusterability than models pretrained on superclass labels, but only when there is a high degree of domain overlap between the pretraining and downstream data. Architecturally, we find that normalization strategies affect which layers yield the best clustering performance, and, surprisingly, Vision Transformers attain lower subclass clusterability than ResNets.
• Abstract（参考訳）: ニューラルネットワーク表現は、トレーニングラベルに存在するもの以上の構造を含んでいる。 例えば、視覚的または意味的に類似した画像の表現は、ラベルに関係なく、異なる画像よりも互いに近くにある傾向がある。 これらの表現をクラスタ化することで、データセットプロパティやネットワーク内部に関する洞察を得ることができる。 本研究では,ニューラルネットワーク学習における多くの設計選択が,隠れ表現に形成されたクラスタに与える影響について検討する。 そこで我々は,BREEDS階層に基づく評価設定を構築し,スーパークラス情報のみを訓練したモデルの後,サブクラスクラスタリングの課題について検討する。 トレーニングデータセットとアーキテクチャを、クラスタビリティに影響を及ぼす重要な要因として分離します。 非関連なサブクラスからなるラベル付きクラスを持つデータセットは、自然な階層に従うものよりもはるかに優れたクラスタビリティをもたらす。 下流データセットのクラスタ化に事前トレーニングされたモデルを使用する場合、サブクラスラベルで事前トレーニングされたモデルは、スーパークラスラベルで事前トレーニングされたモデルよりも優れたクラスタビリティを提供する。 アーキテクチャ上、正規化戦略はどの層が最高のクラスタリング性能をもたらすかに影響し、驚くべきことにVision TransformerはResNetsよりも低いサブクラスクラスタビリティを実現している。

関連論文リスト

• An Empirical Study into Clustering of Unseen Datasets with Self-Supervised Encoders [34.000135361782206]
  トレーニングされていないデータセットに事前トレーニングされたイメージモデルをデプロイし、それらの埋め込みが意味のあるクラスタを形成するかどうかを調査します。 この評価は、教師付きモデルに異なる特徴を優先する自己教師付きモデルの埋め込みに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-04T16:34:17Z)
• Reinforcement Graph Clustering with Unknown Cluster Number [91.4861135742095]
  本稿では,Reinforcement Graph Clusteringと呼ばれる新しいディープグラフクラスタリング手法を提案する。 提案手法では,クラスタ数決定と教師なし表現学習を統一的なフレームワークに統合する。 フィードバック動作を行うために、クラスタリング指向の報酬関数を提案し、同一クラスタの凝集を高め、異なるクラスタを分離する。
  論文  参考訳（メタデータ） (2023-08-13T18:12:28Z)
• XAI for Self-supervised Clustering of Wireless Spectrum Activity [0.5809784853115825]
  本稿では,深層クラスタリング,自己教師型学習アーキテクチャの方法論を提案する。 表現学習部では,入力データの関心領域の解釈にガイドバックプロパゲーションを用いる。 クラスタリングの部分は、クラスタリングの結果を説明するために、Shallow Treesに依存しています。 最後に、データ固有の視覚化部は、各クラスタと入力データとの接続を関連機能をトラフすることを可能にする。
  論文  参考訳（メタデータ） (2023-05-17T08:56:43Z)
• Contrastive Hierarchical Clustering [8.068701201341065]
  CoHiClustは、ディープニューラルネットワークに基づくContrastive Hierarchical Clusteringモデルである。 自己教師付き学習アプローチを採用することで、CoHiClustは、ラベル付きデータにアクセスせずに、ベースネットワークをバイナリツリーに蒸留する。
  論文  参考訳（メタデータ） (2023-03-03T07:54:19Z)
• DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep Neural Networks [53.88811980967342]
  本稿では,Ensembles (DeepCluE) を用いたDeep Clusteringを提案する。 ディープニューラルネットワークにおける複数のレイヤのパワーを活用することで、ディープクラスタリングとアンサンブルクラスタリングのギャップを埋める。 6つの画像データセットの実験結果から、最先端のディープクラスタリングアプローチに対するDeepCluEの利点が確認されている。
  論文  参考訳（メタデータ） (2022-06-01T09:51:38Z)
• Self-supervised Contrastive Attributed Graph Clustering [110.52694943592974]
  我々は,自己教師型コントラストグラフクラスタリング(SCAGC)という,新たな属性グラフクラスタリングネットワークを提案する。 SCAGCでは,不正確なクラスタリングラベルを活用することで,ノード表現学習のための自己教師付きコントラスト損失を設計する。 OOSノードでは、SCAGCはクラスタリングラベルを直接計算できる。
  論文  参考訳（メタデータ） (2021-10-15T03:25:28Z)
• Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
  StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。 実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-09-11T09:26:52Z)
• Learning Hierarchical Graph Neural Networks for Image Clustering [81.5841862489509]
  本稿では,画像の集合を未知の個数にクラスタリングする方法を学ぶ階層型グラフニューラルネットワーク(GNN)モデルを提案する。 我々の階層的なGNNは、階層の各レベルで予測される連結コンポーネントをマージして、次のレベルで新しいグラフを形成するために、新しいアプローチを用いています。
  論文  参考訳（メタデータ） (2021-07-03T01:28:42Z)
• Graph Contrastive Clustering [131.67881457114316]
  本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。 特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。 一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
  論文  参考訳（メタデータ） (2021-04-03T15:32:49Z)
• Structured Graph Learning for Clustering and Semi-supervised Classification [74.35376212789132]
  データの局所構造とグローバル構造の両方を保存するためのグラフ学習フレームワークを提案する。 本手法は, サンプルの自己表現性を利用して, 局所構造を尊重するために, 大域的構造と適応的隣接アプローチを捉える。 我々のモデルは、ある条件下でのカーネルk平均法とk平均法の組合せと等価である。
  論文  参考訳（メタデータ） (2020-08-31T08:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。