論文の概要: Clustering by Attention: Leveraging Prior Fitted Transformers for Data Partitioning
- arxiv url: http://arxiv.org/abs/2507.20369v1
- Date: Sun, 27 Jul 2025 17:53:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:57.478592
- Title: Clustering by Attention: Leveraging Prior Fitted Transformers for Data Partitioning
- Title（参考訳）: 注意によるクラスタリング: データ分割のための事前設定されたトランスフォーマーの活用
- Authors: Ahmed Shokry, Ayman Khalafallah,
- Abstract要約: メタラーニングに基づく新しいクラスタリング手法を提案する。
我々は,クラスタリングを行うために事前学習したPFN(Predior-Data Fitted Transformer Network)を用いている。
我々の手法は最先端のクラスタリング技術よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 3.4530027457862005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clustering is a core task in machine learning with wide-ranging applications in data mining and pattern recognition. However, its unsupervised nature makes it inherently challenging. Many existing clustering algorithms suffer from critical limitations: they often require careful parameter tuning, exhibit high computational complexity, lack interpretability, or yield suboptimal accuracy, especially when applied to large-scale datasets. In this paper, we introduce a novel clustering approach based on meta-learning. Our approach eliminates the need for parameter optimization while achieving accuracy that outperforms state-of-the-art clustering techniques. The proposed technique leverages a few pre-clustered samples to guide the clustering process for the entire dataset in a single forward pass. Specifically, we employ a pre-trained Prior-Data Fitted Transformer Network (PFN) to perform clustering. The algorithm computes attention between the pre-clustered samples and the unclustered samples, allowing it to infer cluster assignments for the entire dataset based on the learned relation. We theoretically and empirically demonstrate that, given just a few pre-clustered examples, the model can generalize to accurately cluster the rest of the dataset. Experiments on challenging benchmark datasets show that our approach can successfully cluster well-separated data without any pre-clustered samples, and significantly improves performance when a few clustered samples are provided. We show that our approach is superior to the state-of-the-art techniques. These results highlight the effectiveness and scalability of our approach, positioning it as a promising alternative to existing clustering techniques.
- Abstract（参考訳）: クラスタリングは機械学習における中核的なタスクであり、データマイニングやパターン認識に幅広い応用がある。
しかし、その教師なしの性質は本質的に困難である。
多くの既存のクラスタリングアルゴリズムは、注意深いパラメータチューニング、高い計算複雑性の表現、解釈可能性の欠如、特に大規模データセットに適用された場合の準最適精度の獲得など、重大な制限に悩まされている。
本稿ではメタラーニングに基づく新しいクラスタリング手法を提案する。
提案手法は,最先端クラスタリング技術を上回る精度を達成しつつ,パラメータ最適化の必要性を解消する。
提案手法は、いくつかの事前クラスタ化されたサンプルを利用して、データセット全体のクラスタリングプロセスを単一のフォワードパスでガイドする。
具体的には,事前学習したPFNを用いてクラスタリングを行う。
このアルゴリズムは、事前クラスタ化されたサンプルと非クラスタ化されたサンプルとの間の注意を計算し、学習された関係に基づいてデータセット全体のクラスタ割り当てを推測する。
理論的および経験論的に、いくつかの事前クラスタ化された例を考えると、このモデルはデータセットの残りの部分を正確にクラスタリングするように一般化できる。
ベンチマークデータセットに挑戦する実験では、事前クラスタ化されたサンプルを使わずに、十分に分離されたデータをクラスタリングし、いくつかのクラスタ化されたサンプルが提供されると、パフォーマンスが大幅に向上することを示した。
我々のアプローチは最先端技術よりも優れていることを示す。
これらの結果は我々のアプローチの有効性とスケーラビリティを強調し、既存のクラスタリング技術に代わる有望な代替手段として位置づけている。
関連論文リスト
- GCC: Generative Calibration Clustering [55.44944397168619]
本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。
まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。
第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
論文 参考訳（メタデータ） (2024-04-14T01:51:11Z) - End-to-end Learnable Clustering for Intent Learning in Recommendation [54.157784572994316]
我々は、アンダーラインELCRecと呼ばれる新しい意図学習手法を提案する。
振る舞い表現学習をUnderlineEnd-to-end UnderlineLearnable UnderlineClusteringフレームワークに統合する。
1億3000万ページビューの産業レコメンデーションシステムに本手法をデプロイし,有望な結果を得る。
論文 参考訳（メタデータ） (2024-01-11T15:22:55Z) - Stable Cluster Discrimination for Deep Clustering [7.175082696240088]
ディープクラスタリングは、インスタンスの表現(つまり、表現学習)を最適化し、固有のデータ分散を探索することができる。
結合された目的は、すべてのインスタンスが一様機能に崩壊する、自明な解決策を意味する。
本研究では,1段階クラスタリングにおいて,教師あり学習における一般的な識別タスクが不安定であることを示す。
新規な安定クラスタ識別(SeCu)タスクを提案し、それに応じて新しいハードネス対応クラスタリング基準を得ることができる。
論文 参考訳（メタデータ） (2023-11-24T06:43:26Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳（メタデータ） (2023-07-26T16:19:19Z) - Hard Regularization to Prevent Deep Online Clustering Collapse without
Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。
オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。
本稿では,データ拡張を必要としない手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T08:23:26Z) - Unified Multi-View Orthonormal Non-Negative Graph Based Clustering
Framework [74.25493157757943]
我々は,非負の特徴特性を活用し,多視点情報を統合された共同学習フレームワークに組み込む,新しいクラスタリングモデルを定式化する。
また、深層機能に基づいたクラスタリングデータに対するマルチモデル非負グラフベースのアプローチを初めて検討する。
論文 参考訳（メタデータ） (2022-11-03T08:18:27Z) - Clustering Optimisation Method for Highly Connected Biological Data [0.0]
接続クラスタリング評価のための単純な指標が,生物データの最適セグメンテーションにつながることを示す。
この作業の斬新さは、混雑したデータをクラスタリングするための単純な最適化方法の作成にある。
論文 参考訳（メタデータ） (2022-08-08T17:33:32Z) - A Deep Dive into Deep Cluster [0.2578242050187029]
DeepClusterは、ビジュアル表現のシンプルでスケーラブルな教師なし事前トレーニングである。
本稿では,DeepClusterの収束と性能が,畳み込み層のランダムフィルタの品質と選択されたクラスタ数の相互作用に依存することを示す。
論文 参考訳（メタデータ） (2022-07-24T22:55:09Z) - Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。
実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
論文 参考訳（メタデータ） (2021-09-11T09:26:52Z) - Transductive Few-Shot Learning: Clustering is All You Need? [31.21306826132773]
そこで本研究では,プロトタイプをベースとした超越的数ショット学習の汎用的定式化について検討する。
提案手法は, 精度と最適化の観点から, 大きな問題にスケールアップしながら, 競争性能を向上する。
驚いたことに、私たちの一般的なモデルは、最先端の学習と比較して、すでに競争力のあるパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2021-06-16T16:14:01Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2021-06-03T14:59:59Z) - Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。
我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
論文 参考訳（メタデータ） (2020-10-22T15:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。