論文の概要: Selective Inference for Deep Clustering in Latent Spaces
- arxiv url: http://arxiv.org/abs/2609.28756v1
- Date: Wed, 23 Sep 2026 20:08:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.54062
- Title: Selective Inference for Deep Clustering in Latent Spaces
- Title(参考訳): 潜時空間における深部クラスタリングの選択的推論
- Abstract要約: ディープクラスタリングは、高次元データの意味のある構造を発見するための強力なアプローチである。
実験的な成功にもかかわらず、結果として得られたクラスターの統計的信頼性を評価することは依然として困難である。
固定された事前学習エンコーダを用いたディープクラスタリングのためのSIフレームワークを開発した。
- 参考スコア(独自算出の注目度): 9.309321925569241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep clustering is a powerful approach for discovering meaningful structures in high-dimensional data by learning a low-dimensional latent representation prior to clustering. Despite its empirical success, assessing the statistical reliability of the resulting clusters remains challenging. Testing discovered clusters on the same data induces selection bias and invalidates classical $p$-values. Selective inference (SI) provides a principled framework for correcting this bias, but existing methods focus on clustering performed directly on the observed features. In this work, we develop an SI framework for deep clustering with a fixed pretrained encoder. The key challenge is that cluster assignments are determined through a nonlinear transformation from the original data space to the latent space, resulting in a substantially more complex selection process than in conventional clustering. Our method provides a computationally tractable way to account for this process and enables valid statistical testing of differences between clusters identified in the latent space. Synthetic experiments demonstrate that the proposed method controls the Type I error rate while achieving higher power than valid but conservative baselines, and genomic applications show that it can identify significant cluster differences while appropriately accounting for selection bias. Our framework provides a principled approach to quantifying the statistical reliability of structures discovered by deep clustering.
- Abstract(参考訳): ディープクラスタリングは、クラスタリングの前に低次元の潜在表現を学習することで、高次元データの有意義な構造を発見するための強力なアプローチである。
実験的な成功にもかかわらず、結果として得られたクラスターの統計的信頼性を評価することは依然として困難である。
同じデータ上で発見されたクラスタをテストすると、選択バイアスが発生し、古典的な$p$-値が無効になる。
選択推論(SI)は、このバイアスを修正するための原則的なフレームワークを提供するが、既存の手法では、観察された特徴を直接クラスタリングにフォーカスする。
本研究では,固定された事前学習エンコーダを用いたディープクラスタリングのためのSIフレームワークを開発する。
鍵となる課題は、クラスタ割り当てが元のデータ空間から潜在空間への非線形変換によって決定され、結果として従来のクラスタリングよりもはるかに複雑な選択プロセスとなることである。
提案手法は, この過程を計算的に抽出可能な方法で解析し, 潜在空間で同定されたクラスタ間の差分を統計的に統計的に検証することを可能にする。
提案手法は,有効だが保守的なベースラインよりも高い出力を達成しつつ,タイプIエラー率を制御することを実証し,ゲノム応用により,選択バイアスを適切に考慮しながら,有意なクラスタ差を識別できることを示した。
我々のフレームワークは、ディープクラスタリングによって発見された構造の統計的信頼性を定量化するための原則的なアプローチを提供する。
関連論文リスト
- Seed-Guided Semi-Supervised Clustering by A-Contrario Anomaly Detection [0.0]
本稿では,グループ化原理と異常検出の統計的双対性に基づく半教師付きクラスタリングフレームワークを提案する。
我々は、クラスタを、一様ランダム性のヌル仮説に対する異常のないデータポイントの最大部分集合として定義する。
本手法は, 生, 線形再生, 近傍排他的埋め込みによって表現される画像とテキストのデータセットを含む, 合成および実世界のベンチマークで評価する。
論文 参考訳(メタデータ) (2026-06-17T09:08:02Z) - Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。
クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
論文 参考訳(メタデータ) (2026-04-07T13:18:31Z) - The elbow statistic: Multiscale clustering statistical significance [0.0]
厳密な推論問題としてelbowメソッドを形式化するフレームワークであるElbowSigを紹介する。
アルゴリズムに依存しない手順として、ElbowSigは不均一性シーケンスのみを必要とし、幅広いクラスタリング手法と互換性がある。
論文 参考訳(メタデータ) (2026-03-03T18:28:01Z) - Hierarchical Clustering With Confidence [6.479319856992936]
集約的階層的クラスタリングは、データの小さな摂動に非常に敏感である。
階層的クラスタリングのランダム化は,安定性の測定だけでなく,有効な仮説テスト手順の設計にも有用であることを示す。
論文 参考訳(メタデータ) (2025-12-06T18:18:20Z) - GCC: Generative Calibration Clustering [55.44944397168619]
本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。
まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。
第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
論文 参考訳(メタデータ) (2024-04-14T01:51:11Z) - Fuzzy K-Means Clustering without Cluster Centroids [21.256564324236333]
ファジィK平均クラスタリングは教師なしデータ分析において重要な手法である。
本稿では,クラスタセントロイドへの依存を完全に排除する,ファジィテクストK-Meansクラスタリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-04-07T12:25:03Z) - Deep Embedding Clustering Driven by Sample Stability [16.53706617383543]
サンプル安定性(DECS)により駆動されるディープ埋め込みクラスタリングアルゴリズムを提案する。
具体的には、まずオートエンコーダで初期特徴空間を構築し、次にサンプル安定性に制約されたクラスタ指向の埋め込み機能を学ぶ。
5つのデータセットに対する実験結果から,提案手法は最先端のクラスタリング手法と比較して優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-01-29T09:19:49Z) - A One-shot Framework for Distributed Clustered Learning in Heterogeneous
Environments [54.172993875654015]
異種環境における分散学習のためのコミュニケーション効率化手法のファミリーを提案する。
ユーザによるローカル計算に基づくワンショットアプローチと、サーバにおけるクラスタリングベースのアグリゲーションステップは、強力な学習保証を提供する。
厳密な凸問題に対しては,ユーザ毎のデータ点数がしきい値を超える限り,提案手法はサンプルサイズの観点から順序最適平均二乗誤差率を達成する。
論文 参考訳(メタデータ) (2022-09-22T09:04:10Z) - Self-Evolutionary Clustering [1.662966122370634]
既存のディープクラスタリング手法の多くは、単純な距離比較に基づいており、手作り非線形マッピングによって生成されたターゲット分布に大きく依存している。
新たなモジュール型自己進化クラスタリング(Self-EvoC)フレームワークが構築され,自己管理的な分類によってクラスタリング性能が向上する。
このフレームワークは、サンプルアウトレイラを効率よく識別し、自己監督の助けを借りて、より良い目標分布を生成することができる。
論文 参考訳(メタデータ) (2022-02-21T19:38:18Z) - Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。
我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
論文 参考訳(メタデータ) (2020-10-22T15:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。