論文の概要: Attention-based clustering

• arxiv url: http://arxiv.org/abs/2505.13112v2
• Date: Thu, 03 Jul 2025 08:04:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:14.280522
• Title: Attention-based clustering
• Title（参考訳）: 注意に基づくクラスタリング
• Authors: Rodrigo Maulen-Soto, Claire Boyer, Pierre Marion,
• Abstract要約: トランスフォーマーは、幅広い学習タスクに対処できる強力なニューラルネットワークアーキテクチャとして登場した。 本研究では、教師なしの環境でデータから構造を自動的に抽出する能力を理論的に分析する。
• 参考スコア（独自算出の注目度）: 6.527016551650139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have emerged as a powerful neural network architecture capable of tackling a wide range of learning tasks. In this work, we provide a theoretical analysis of their ability to automatically extract structure from data in an unsupervised setting. In particular, we demonstrate their suitability for clustering when the input data is generated from a Gaussian mixture model. To this end, we study a simplified two-head attention layer and define a population risk whose minimization with unlabeled data drives the head parameters to align with the true mixture centroids. This phenomenon highlights the ability of attention-based layers to capture underlying distributional structure. We further examine an attention layer with key, query, and value matrices fixed to the identity, and show that, even without any trainable parameters, it can perform in-context quantization, revealing the surprising capacity of transformer-based methods to adapt dynamically to input-specific distributions.
• Abstract（参考訳）: トランスフォーマーは、幅広い学習タスクに対処できる強力なニューラルネットワークアーキテクチャとして登場した。 本研究では、教師なしの環境でデータから構造を自動的に抽出する能力を理論的に分析する。 特に,ガウス混合モデルから入力データを生成する際に,クラスタリングに適合することを示す。 この目的のために、単純化された2つの頭部注意層について検討し、ラベル付きデータによる最小化が、頭部パラメータを真の混合セントロイドと整合させる集団リスクを定義する。 この現象は、注意に基づく層が基礎となる分布構造を捉える能力を強調している。 さらに、キー、クエリ、値行列が固定された注目層を調べ、トレーニング可能なパラメータがなくても、コンテキスト内量子化が可能であることを示し、入力固有の分布に動的に適応するトランスフォーマーベースの手法の驚くべき能力を明らかにする。

関連論文リスト

• Towards Learnable Anchor for Deep Multi-View Clustering [49.767879678193005]
  本稿では,線形時間でクラスタリングを行うDeep Multi-view Anchor Clustering (DMAC)モデルを提案する。 最適なアンカーを用いて、全サンプルグラフを計算し、クラスタリングのための識別的埋め込みを導出する。 いくつかのデータセットの実験では、最先端の競合に比べてDMACの性能と効率が優れていることが示されている。
  論文  参考訳（メタデータ） (2025-03-16T09:38:11Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Enhancing Cross-Dataset Performance of Distracted Driving Detection With Score Softmax Classifier And Dynamic Gaussian Smoothing Supervision [6.891556476231427]
  ディープニューラルネットワークは、車内ドライバのリアルタイム監視を可能にし、邪魔や疲労、潜在的な危険のタイムリーな予測を容易にする。 最近の研究では、限られたデータサンプルとバックグラウンドノイズにより、信頼性の低いクロスデータセットドライバの動作認識が明らかにされている。 Score-Softmax分類器を提案し、カテゴリ独立性を高めてモデル過信を低減する。
  論文  参考訳（メタデータ） (2023-10-08T15:28:01Z)
• Transferable Deep Clustering Model [14.073783373395196]
  本稿では,データサンプルの分布に応じてクラスタセントロイドを自動的に適応できる,転送可能な新しいディープクラスタリングモデルを提案する。 提案手法では, 試料との関係を計測することで, センチロイドを適応できる新しい注意型モジュールを提案する。 合成および実世界の両方のデータセットに対する実験結果から,提案した移動学習フレームワークの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2023-10-07T23:35:17Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Augmented Data as an Auxiliary Plug-in Towards Categorization of Crowdsourced Heritage Data [2.609784101826762]
  本稿では,データ拡張を補助プラグインとして導入することで,非効率なクラスタリング性能の問題を緩和する戦略を提案する。 我々は、深層クラスタリングのための新しいモデルとして初期特徴空間を構築するために、拡張データを用いた畳み込みオートエンコーダ(CAE)の変種を訓練する。
  論文  参考訳（メタデータ） (2021-07-08T14:09:39Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Joint Optimization of an Autoencoder for Clustering and Embedding [22.16059261437617]
  本稿では,自動エンコーダとクラスタリングを同時に学習する代替手法を提案する。 この単純なニューラルネットワークはクラスタリングモジュールと呼ばれ、ディープオートエンコーダに統合され、ディープクラスタリングモデルとなる。
  論文  参考訳（メタデータ） (2020-12-07T14:38:10Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。