論文の概要: Leveraging tensor kernels to reduce objective function mismatch in deep clustering

• arxiv url: http://arxiv.org/abs/2001.07026v3
• Date: Tue, 13 Feb 2024 08:09:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 20:39:12.716421
• Title: Leveraging tensor kernels to reduce objective function mismatch in deep clustering
• Title（参考訳）: 深層クラスタリングにおける目的関数ミスマッチ低減のためのテンソルカーネルの活用
• Authors: Daniel J. Trosten, Sigurd L{\o}kse, Robert Jenssen, Michael Kampffmeyer
• Abstract要約: 目的関数ミスマッチ(Objective Function Mismatch, OFM)は、ある目的の最適化が別の目的に負の影響を与える場合に発生する。 本研究では、ディープクラスタリングにおけるOFMについて検討し、ディープクラスタリングに対する一般的なオートエンコーダベースのアプローチがクラスタリング性能の低下につながることを明らかにする。 ミスマッチを低減するため, 補助目標の構造保存性を維持しつつ, 新たな補助目標セットを提案する。
• 参考スコア（独自算出の注目度）: 19.09439997799764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective Function Mismatch (OFM) occurs when the optimization of one objective has a negative impact on the optimization of another objective. In this work we study OFM in deep clustering, and find that the popular autoencoder-based approach to deep clustering can lead to both reduced clustering performance, and a significant amount of OFM between the reconstruction and clustering objectives. To reduce the mismatch, while maintaining the structure-preserving property of an auxiliary objective, we propose a set of new auxiliary objectives for deep clustering, referred to as the Unsupervised Companion Objectives (UCOs). The UCOs rely on a kernel function to formulate a clustering objective on intermediate representations in the network. Generally, intermediate representations can include other dimensions, for instance spatial or temporal, in addition to the feature dimension. We therefore argue that the na\"ive approach of vectorizing and applying a vector kernel is suboptimal for such representations, as it ignores the information contained in the other dimensions. To address this drawback, we equip the UCOs with structure-exploiting tensor kernels, designed for tensors of arbitrary rank. The UCOs can thus be adapted to a broad class of network architectures. We also propose a novel, regression-based measure of OFM, allowing us to accurately quantify the amount of OFM observed during training. Our experiments show that the OFM between the UCOs and the main clustering objective is lower, compared to a similar autoencoder-based model. Further, we illustrate that the UCOs improve the clustering performance of the model, in contrast to the autoencoder-based approach. The code for our experiments is available at https://github.com/danieltrosten/tk-uco.
• Abstract（参考訳）: Objective Function Mismatch (OFM) は、ある目的の最適化が別の目的の最適化に悪影響を与える場合に発生する。 本稿では,深層クラスタリングにおけるofmについて検討し,深層クラスタリングに対するautoencoderベースのアプローチが,クラスタリング性能の低下と,再構築目標とクラスタリング目標の間のofm量の低減に寄与する可能性を見出した。 ミスマッチを低減するため,補助目標の構造保存性を維持しつつ,Unsupervised Companion Objectives (UCOs) と呼ばれる深層クラスタリングのための新しい補助目標セットを提案する。 UCOはネットワークの中間表現にクラスタリングの目的を定式化するためにカーネル関数に依存している。 一般に、中間表現は特徴次元に加えて、例えば空間や時間といった他の次元を含むことができる。 したがって、ベクトルカーネルのベクトル化と適用は、他の次元に含まれる情報を無視するため、そのような表現に最適である。 この欠点に対処するため、任意のランクのテンソル用に設計された構造展開テンソルカーネルをUCOに装備する。 したがって、UCOは幅広い種類のネットワークアーキテクチャに適応することができる。 また,OFMの新しい回帰尺度を提案し,トレーニング中に観測されたOFMの量を正確に定量化する。 実験の結果,UCOと主クラスタリングのOFMは,類似のオートエンコーダモデルに比べて低いことがわかった。 さらに、自動エンコーダに基づくアプローチとは対照的に、UCOはモデルのクラスタリング性能を向上させる。 私たちの実験のコードはhttps://github.com/danieltrosten/tk-ucoで入手できます。

関連論文リスト

• OMH: Structured Sparsity via Optimally Matched Hierarchy for Unsupervised Semantic Segmentation [69.37484603556307]
  Un Semantic segmenting (USS)は、事前に定義されたラベルに頼ることなく、イメージをセグメント化する。 上記の問題を同時に解決するために,OMH (Optimally Matched Hierarchy) という新しいアプローチを導入する。 我々のOMHは既存のUSS法と比較して教師なしセグメンテーション性能がよい。
  論文  参考訳（メタデータ） (2024-03-11T09:46:41Z)
• A Generalized Framework for Predictive Clustering and Optimization [18.06697544912383]
  クラスタリングは強力で広く使われているデータサイエンスツールです。 本稿では,予測クラスタリングのための一般化最適化フレームワークを定義する。 また,大域的最適化のためにMILP(mixed-integer linear programming)を利用する共同最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T19:56:51Z)
• Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
  半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。 本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。 さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
  論文  参考訳（メタデータ） (2023-03-29T14:54:19Z)
• DeepCut: Unsupervised Segmentation using Graph Neural Networks Clustering [6.447863458841379]
  本研究では,従来のクラスタリング手法を置き換える軽量グラフニューラルネットワーク(GNN)を提案する。 既存の手法とは異なり、GNNはローカル画像特徴と生特徴とのペアワイズ親和性の両方を入力として取ります。 画像セグメンテーションGNNを訓練するための自己教師付き損失関数として,古典的クラスタリングの目的を定式化する方法を実証する。
  論文  参考訳（メタデータ） (2022-12-12T12:31:46Z)
• Deep Attention-guided Graph Clustering with Dual Self-supervision [49.040136530379094]
  デュアル・セルフ・スーパービジョン(DAGC)を用いたディープアテンション誘導グラフクラスタリング法を提案する。 我々は,三重項Kulback-Leibler分散損失を持つソフトな自己スーパービジョン戦略と,擬似的な監督損失を持つハードな自己スーパービジョン戦略からなる二重自己スーパービジョンソリューションを開発する。 提案手法は6つのベンチマークデータセットにおける最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-10T06:53:03Z)
• Deep Embedded K-Means Clustering [1.5697094704362897]
  主な考え方は、表現学習とクラスタリングが相互に強化できることだ。 本稿では,この2つの疑問に答えるために,DeKM(Deep Embedded K-Means)を提案する。 実世界のデータセットに関する実験結果は、DECMが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-09-30T14:12:59Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
  Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。 本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。 提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-12-08T08:52:00Z)
• Joint Optimization of an Autoencoder for Clustering and Embedding [22.16059261437617]
  本稿では,自動エンコーダとクラスタリングを同時に学習する代替手法を提案する。 この単純なニューラルネットワークはクラスタリングモジュールと呼ばれ、ディープオートエンコーダに統合され、ディープクラスタリングモデルとなる。
  論文  参考訳（メタデータ） (2020-12-07T14:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。