論文の概要: Learning Self-Expression Metrics for Scalable and Inductive Subspace Clustering

• arxiv url: http://arxiv.org/abs/2009.12875v2
• Date: Fri, 18 Dec 2020 00:06:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 03:09:21.909233
• Title: Learning Self-Expression Metrics for Scalable and Inductive Subspace Clustering
• Title（参考訳）: スケーラブルでインダクティブなサブスペースクラスタリングのための自己表現メトリクスの学習
• Authors: Julian Busch, Evgeniy Faerman, Matthias Schubert and Thomas Seidl
• Abstract要約: サブスペースクラスタリングは、高次元データをクラスタリングするための最先端のアプローチとして確立されている。 本研究では,シアムニューラルネットワークアーキテクチャを用いて,サブスペース親和性関数を学習するための新しい距離学習手法を提案する。 我々のモデルは、パラメータの一定数とメモリフットプリントの恩恵を受けており、かなり大きなデータセットにスケールすることができる。
• 参考スコア（独自算出の注目度）: 5.587290026368626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Subspace clustering has established itself as a state-of-the-art approach to clustering high-dimensional data. In particular, methods relying on the self-expressiveness property have recently proved especially successful. However, they suffer from two major shortcomings: First, a quadratic-size coefficient matrix is learned directly, preventing these methods from scaling beyond small datasets. Secondly, the trained models are transductive and thus cannot be used to cluster out-of-sample data unseen during training. Instead of learning self-expression coefficients directly, we propose a novel metric learning approach to learn instead a subspace affinity function using a siamese neural network architecture. Consequently, our model benefits from a constant number of parameters and a constant-size memory footprint, allowing it to scale to considerably larger datasets. In addition, we can formally show that out model is still able to exactly recover subspace clusters given an independence assumption. The siamese architecture in combination with a novel geometric classifier further makes our model inductive, allowing it to cluster out-of-sample data. Additionally, non-linear clusters can be detected by simply adding an auto-encoder module to the architecture. The whole model can then be trained end-to-end in a self-supervised manner. This work in progress reports promising preliminary results on the MNIST dataset. In the spirit of reproducible research, me make all code publicly available. In future work we plan to investigate several extensions of our model and to expand experimental evaluation.
• Abstract（参考訳）: サブスペースクラスタリングは、高次元データをクラスタリングするための最先端のアプローチとして確立された。 特に、自己表現性プロパティに依存するメソッドは、最近特に成功している。 第一に、二次サイズの係数行列が直接学習され、これらの手法が小さなデータセットを超えてスケールすることを防ぐ。 第二に、トレーニングされたモデルはトランスダクティブであるため、トレーニング中に見つからないサンプルデータのクラスタリングには使用できない。 自己表現係数を直接学習する代わりに,siameseニューラルネットワークアーキテクチャを用いた部分空間親和関数を学習するための新しいメトリック学習手法を提案する。 その結果、パラメータの一定数とメモリフットプリントの恩恵を受け、かなり大きなデータセットにスケールできるようになりました。 さらに、独立性を前提として、outモデルがサブスペースクラスタを正確にリカバリできることを正式に示すことができる。 シアムアーキテクチャと新しい幾何学的分類器を組み合わせることで、我々のモデルをさらに誘導し、サンプル外のデータをクラスタ化することができる。 さらに、アーキテクチャに自動エンコーダモジュールを追加するだけで、非線形クラスタを検出することができる。 モデル全体は、自己監督された方法でエンドツーエンドでトレーニングすることができる。 この研究は、MNISTデータセットに期待できる事前結果を報告している。 再現可能な研究の精神では、すべてのコードを公開しています。 今後の取り組みとして,モデルの拡張をいくつか検討し,実験的な評価を拡大する予定である。

関連論文リスト

• Generative Expansion of Small Datasets: An Expansive Graph Approach [13.053285552524052]
  最小限のサンプルから大規模で情報豊富なデータセットを生成する拡張合成モデルを提案する。 自己アテンション層と最適なトランスポートを持つオートエンコーダは、分散一貫性を洗練させる。 結果は同等のパフォーマンスを示し、モデルがトレーニングデータを効果的に増強する可能性を示している。
  論文  参考訳（メタデータ） (2024-06-25T02:59:02Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Learning a Self-Expressive Network for Subspace Clustering [15.096251922264281]
  本稿では,データ表現の自己表現を学習するために,適切に設計されたニューラルネットワークを用いた,自己表現型ネットワーク(SENet)と呼ばれる,サブスペースクラスタリングのための新しいフレームワークを提案する。 私たちのSENetは、トレーニングデータに望ましい特性を持つ自己表現係数を学習するだけでなく、サンプル外のデータも処理します。 特に、SENetはMNIST、Fashion MNIST、Extended MNISTで高い競争力を発揮し、CIFAR-10で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-10-08T18:06:06Z)
• UCSL : A Machine Learning Expectation-Maximization framework for Unsupervised Clustering driven by Supervised Learning [2.133032470368051]
  Subtype Discoveryは、データセットの解釈可能で一貫性のあるサブ部分を見つけることで構成される。 UCSL (Unsupervised Clustering driven by Supervised Learning) という汎用的な期待最大化アンサンブルフレームワークを提案する。 我々の手法は汎用的であり、任意のクラスタリング手法を統合することができ、バイナリ分類と回帰の両方によって駆動することができる。
  論文  参考訳（メタデータ） (2021-07-05T12:55:13Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Robust Self-Supervised Convolutional Neural Network for Subspace Clustering and Classification [0.10152838128195464]
  本稿では,自己管理型畳み込みサブスペースクラスタリングネットワーク(S2$ConvSCN)のロバストな定式化を提案する。 真の教師なしのトレーニング環境では、Robust $S2$ConvSCNは、4つのよく知られたデータセットで見られるデータと見えないデータの両方に対して、ベースラインバージョンをかなり上回っている。
  論文  参考訳（メタデータ） (2020-04-03T16:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。