論文の概要: A mini-batch training strategy for deep subspace clustering networks

• arxiv url: http://arxiv.org/abs/2507.19917v1
• Date: Sat, 26 Jul 2025 11:44:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:56.462756
• Title: A mini-batch training strategy for deep subspace clustering networks
• Title（参考訳）: 深層空間クラスタリングネットワークのためのミニバッチ学習戦略
• Authors: Yuxuan Jiang, Chenwei Yu, Zhi Lin, Xiaolan Liu,
• Abstract要約: ミニバッチトレーニングは現代のディープラーニングの基礎であり、複雑なアーキテクチャをトレーニングするための計算効率とスケーラビリティを提供する。 本研究では,グローバルな特徴表現を保存するメモリバンクを統合することで,深層空間クラスタリングのためのミニバッチ学習手法を提案する。 提案手法は,従来の制限を克服し,高解像度画像を用いたサブスペースクラスタリングのためのディープアーキテクチャのスケーラブルなトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 6.517972913340111
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mini-batch training is a cornerstone of modern deep learning, offering computational efficiency and scalability for training complex architectures. However, existing deep subspace clustering (DSC) methods, which typically combine an autoencoder with a self-expressive layer, rely on full-batch processing. The bottleneck arises from the self-expressive module, which requires representations of the entire dataset to construct a self-representation coefficient matrix. In this work, we introduce a mini-batch training strategy for DSC by integrating a memory bank that preserves global feature representations. Our approach enables scalable training of deep architectures for subspace clustering with high-resolution images, overcoming previous limitations. Additionally, to efficiently fine-tune large-scale pre-trained encoders for subspace clustering, we propose a decoder-free framework that leverages contrastive learning instead of autoencoding for representation learning. This design not only eliminates the computational overhead of decoder training but also provides competitive performance. Extensive experiments demonstrate that our approach not only achieves performance comparable to full-batch methods, but outperforms other state-of-the-art subspace clustering methods on the COIL100 and ORL datasets by fine-tuning deep networks.
• Abstract（参考訳）: ミニバッチトレーニングは現代のディープラーニングの基礎であり、複雑なアーキテクチャをトレーニングするための計算効率とスケーラビリティを提供する。 しかし、既存のディープサブスペースクラスタリング(DSC)メソッドは、通常はオートエンコーダと自己表現層を組み合わせたもので、フルバッチ処理に依存している。 このボトルネックは、自己表現係数行列を構築するためにデータセット全体の表現を必要とする自己表現モジュールから生じる。 本研究では,グローバルな特徴表現を保存するメモリバンクを統合することで,DSCのためのミニバッチトレーニング戦略を導入する。 提案手法は,従来の制限を克服し,高解像度画像を用いたサブスペースクラスタリングのためのディープアーキテクチャのスケーラブルなトレーニングを可能にする。 さらに,サブスペースクラスタリングのための大規模事前学習エンコーダを効率よく微調整するために,表現学習にオートエンコーディングの代わりにコントラスト学習を利用するデコーダフリーフレームワークを提案する。 この設計は、デコーダトレーニングの計算オーバーヘッドを取り除くだけでなく、競合する性能も提供する。 大規模な実験により,本手法はフルバッチ法に匹敵する性能を達成するだけでなく,COIL100およびORLデータセット上の他の最先端サブスペースクラスタリング手法よりも優れた性能を発揮することが示された。

関連論文リスト

• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
  レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。 大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。 本手法は精度と計算効率の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-14T04:01:08Z)
• Low-Resolution Self-Attention for Semantic Segmentation [93.30597515880079]
  我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。 我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。 本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-10-08T06:10:09Z)
• ConvBLS: An Effective and Efficient Incremental Convolutional Broad Learning System for Image Classification [63.49762079000726]
  球状K-means(SKM)アルゴリズムと2段階マルチスケール(TSMS)機能融合に基づく畳み込み広範学習システム(ConvBLS)を提案する。 提案手法は前代未聞の効率的かつ効果的である。
  論文  参考訳（メタデータ） (2023-04-01T04:16:12Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• COMET: A Comprehensive Cluster Design Methodology for Distributed Deep Learning Training [42.514897110537596]
  現代のディープラーニング(DL)モデルは、トレーニングする専門的でハイエンドなノードの大規模なクラスタを必要とするサイズに成長しています。 このようなクラスタを設計してパフォーマンスと利用の両方を最大化します。 本稿では,並列化戦略と鍵クラスタリソースのプロビジョニングが分散DLトレーニングのパフォーマンスに与える影響を共同で研究する,総合的なクラスタ設計方法論とワークフローであるCOMETを紹介する。
  論文  参考訳（メタデータ） (2022-11-30T00:32:37Z)
• A Deep Dive into Deep Cluster [0.2578242050187029]
  DeepClusterは、ビジュアル表現のシンプルでスケーラブルな教師なし事前トレーニングである。 本稿では,DeepClusterの収束と性能が,畳み込み層のランダムフィルタの品質と選択されたクラスタ数の相互作用に依存することを示す。
  論文  参考訳（メタデータ） (2022-07-24T22:55:09Z)
• Doing More by Doing Less: How Structured Partial Backpropagation Improves Deep Learning Clusters [9.17259958324486]
  ディープラーニングモデルのトレーニングは、リソース集約的で、重要な計算、メモリ、ネットワークリソースを消費する。 本研究では,分散トレーニングにおける個々の作業者のバックプロパゲーション量を制御する手法である構造化部分バックプロパゲーション(SPB)を提案する。 JigSawは,大規模クラスタの効率を最大28%向上できることがわかった。
  論文  参考訳（メタデータ） (2021-11-20T20:34:26Z)
• DANCE: DAta-Network Co-optimization for Efficient Segmentation Model Training and Inference [86.03382625531951]
  DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。 入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。 実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
  論文  参考訳（メタデータ） (2021-07-16T04:58:58Z)
• Very Compact Clusters with Structural Regularization via Similarity and Connectivity [3.779514860341336]
  本稿では,汎用データセットのためのエンドツーエンドのディープクラスタリングアルゴリズムであるVery Compact Clusters (VCC)を提案する。 提案手法は,最先端のクラスタリング手法よりも優れたクラスタリング性能を実現する。
  論文  参考訳（メタデータ） (2021-06-09T23:22:03Z)
• Overcomplete Deep Subspace Clustering Networks [80.16644725886968]
  4つのベンチマークデータセットの実験結果から,クラスタリング誤差の観点から,DSCや他のクラスタリング手法に対する提案手法の有効性が示された。 また,本手法は,最高の性能を得るために事前学習を中止する点にDSCほど依存せず,騒音にも頑健である。
  論文  参考訳（メタデータ） (2020-11-16T22:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。