論文の概要: Discriminative Representation learning via Attention-Enhanced Contrastive Learning for Short Text Clustering

• arxiv url: http://arxiv.org/abs/2501.03584v3
• Date: Sun, 26 Jan 2025 05:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:52:30.443460
• Title: Discriminative Representation learning via Attention-Enhanced Contrastive Learning for Short Text Clustering
• Title（参考訳）: 短文クラスタリングのための注意力強化コントラスト学習による識別的表現学習
• Authors: Zhihao Yao,
• Abstract要約: 我々は,textbfAttention-textbfEnhanced textbfContrastive textbfLによる識別表現学習という,新しいテキストクラスタリング手法を提案する。 実験の結果,提案したtextbfAECL は最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 1.6788443047694643
• License:
• Abstract: Contrastive learning has gained significant attention in short text clustering, yet it has an inherent drawback of mistakenly identifying samples from the same category as negatives and then separating them in the feature space (false negative separation), which hinders the generation of superior representations. To generate more discriminative representations for efficient clustering, we propose a novel short text clustering method, called Discriminative Representation learning via \textbf{A}ttention-\textbf{E}nhanced \textbf{C}ontrastive \textbf{L}earning for Short Text Clustering (\textbf{AECL}). The \textbf{AECL} consists of two modules which are the pseudo-label generation module and the contrastive learning module. Both modules build a sample-level attention mechanism to capture similarity relationships between samples and aggregate cross-sample features to generate consistent representations. Then, the former module uses the more discriminative consistent representation to produce reliable supervision information for assist clustering, while the latter module explores similarity relationships and consistent representations optimize the construction of positive samples to perform similarity-guided contrastive learning, effectively addressing the false negative separation issue. Experimental results demonstrate that the proposed \textbf{AECL} outperforms state-of-the-art methods. If the paper is accepted, we will open-source the code.
• Abstract（参考訳）: コントラスト学習は、短いテキストクラスタリングにおいて大きな注目を集めているが、同じカテゴリのサンプルを負として誤って識別し、特徴空間(偽陰性分離)に分離することで、優れた表現の生成を妨げるという固有の欠点がある。 効率的なクラスタリングのためのより差別的な表現を生成するために,ショートテキストクラスタリング(\textbf{A}ttention-\textbf{E}nhanced \textbf{C}ontrastive \textbf{L}earning for Short Text Clustering (\textbf{AECL})による識別的表現学習という,新しいショートテキストクラスタリング手法を提案する。 textbf{AECL} は擬似ラベル生成モジュールと対照的な学習モジュールの2つのモジュールから構成される。 どちらのモジュールもサンプルレベルのアテンションメカニズムを構築して、サンプル間の類似関係と、一貫した表現を生成するクロスサンプル機能を集約する。 そして、前者のモジュールはより差別的な一貫した表現を用いてクラスタリングを支援するために信頼できる監視情報を生成する一方、後者のモジュールは類似性関係を探索し、一貫した表現は正のサンプルの構築を最適化し、類似性誘導型コントラスト学習を行い、偽陰性分離問題に効果的に対処する。 実験結果から,提案した‘textbf{AECL} は最先端の手法よりも優れていた。 論文が受け入れられたら、コードをオープンソースにします。

関連論文リスト

• Contrastive Learning Subspace for Text Clustering [4.065026352441705]
  本稿では,SCL(Subspace Contrastive Learning)というテキストクラスタリング手法を提案する。 提案するSCLは,(1)仮想正のサンプルを構成する自己表現モジュール,(2)テキスト間のタスク固有のクラスタ関係を捉えるための識別サブ空間を学習するコントラスト学習モジュールの2つの主要モジュールから構成される。 実験結果から, 提案手法は複数のタスククラスタリングデータセットにおいて優れた結果を得ただけでなく, 正のサンプル構築における複雑性も低かった。
  論文  参考訳（メタデータ） (2024-08-26T09:08:26Z)
• RoNID: New Intent Discovery with Generated-Reliable Labels and Cluster-friendly Representations [27.775731666470175]
  New Intent Discovery (NID)は、オープンワールドシナリオにおける新しい意図グループを特定することを目的としている。 現在の手法は、不正確な擬似ラベルと表現学習に問題がある。 本稿では,EMスタイルの手法により最適化されたロバスト・ニューインテント・ディスカバリー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-13T11:58:28Z)
• Deep Contrastive Multi-view Clustering under Semantic Feature Guidance [8.055452424643562]
  本稿では,Semantic Feature Guide (DCMCS) の下で,Deep Contrastive Multi-view Clustering というマルチビュークラスタリングフレームワークを提案する。 意味的類似性によって重み付けされたインスタンスレベルのコントラスト損失を最小化することにより、DCMCSは偽陰対間のコントラストの傾きを適応的に弱める。 いくつかの公開データセットの実験結果は、提案したフレームワークが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2024-03-09T02:33:38Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic Segmentation [59.37587762543934]
  本稿では,弱開語彙セマンティックセマンティックセグメンテーション(WOVSS)の問題点について検討する。 既存の方法は、グループトークンの使用に関する粒度の矛盾に悩まされる。 マルチモーダル正規化を組み込んだプロトタイプ誘導ネットワーク(PGSeg)を提案する。
  論文  参考訳（メタデータ） (2023-10-29T13:18:00Z)
• BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval [54.66399120084227]
  本稿では,BERMと呼ばれるマッチング信号の取得により,高密度検索の一般化を改善する手法を提案する。 センス検索は、ドメイン内のラベル付きデータセットでトレーニングされた場合、第1段階の検索プロセスにおいて有望であることが示されている。
  論文  参考訳（メタデータ） (2023-05-18T15:43:09Z)
• Clustering-Aware Negative Sampling for Unsupervised Sentence Representation [24.15096466098421]
  ClusterNSは、教師なし文表現学習のためのコントラスト学習にクラスタ情報を組み込む新しい手法である。 修正K平均クラスタリングアルゴリズムを用いて、ハードネガティブを供給し、トレーニング中にバッチ内偽陰性を認識する。
  論文  参考訳（メタデータ） (2023-05-17T02:06:47Z)
• Exploring Non-Contrastive Representation Learning for Deep Clustering [23.546602131801205]
  ディープクラスタリングのための非コントラスト表現学習は、負の例のない代表的手法であるBYOLに基づいている。 NCCは、すべてのクラスタが十分に分離され、クラスタ内の例がコンパクトな埋め込み空間を形成する。 ImageNet-1Kを含むいくつかのクラスタリングベンチマークデータセットの実験結果は、NCCが最先端の手法よりかなり優れていることを示している。
  論文  参考訳（メタデータ） (2021-11-23T12:21:53Z)
• Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
  既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。 反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。 我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
  論文  参考訳（メタデータ） (2021-10-28T16:12:33Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• Graph Contrastive Clustering [131.67881457114316]
  本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。 特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。 一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
  論文  参考訳（メタデータ） (2021-04-03T15:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。