論文の概要: Context-Aware Clustering using Large Language Models

• arxiv url: http://arxiv.org/abs/2405.00988v1
• Date: Thu, 2 May 2024 03:50:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:54:29.171252
• Title: Context-Aware Clustering using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた文脈認識クラスタリング
• Authors: Sindhu Tipirneni, Ravinarayana Adkathimar, Nurendra Choudhary, Gaurush Hiranandani, Rana Ali Amjad, Vassilis N. Ioannidis, Changhe Yuan, Chandan K. Reddy,
• Abstract要約: CACTUS (Context-Aware ClusTering with aUgmented triplet losS) を提案する。 本稿では,大規模言語モデル(LLM)を用いたクラスタリングエンティティサブセットへの新たなアプローチを提案する。
• 参考スコア（独自算出の注目度）: 20.971691166166547
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite the remarkable success of Large Language Models (LLMs) in text understanding and generation, their potential for text clustering tasks remains underexplored. We observed that powerful closed-source LLMs provide good quality clusterings of entity sets but are not scalable due to the massive compute power required and the associated costs. Thus, we propose CACTUS (Context-Aware ClusTering with aUgmented triplet losS), a systematic approach that leverages open-source LLMs for efficient and effective supervised clustering of entity subsets, particularly focusing on text-based entities. Existing text clustering methods fail to effectively capture the context provided by the entity subset. Moreover, though there are several language modeling based approaches for clustering, very few are designed for the task of supervised clustering. This paper introduces a novel approach towards clustering entity subsets using LLMs by capturing context via a scalable inter-entity attention mechanism. We propose a novel augmented triplet loss function tailored for supervised clustering, which addresses the inherent challenges of directly applying the triplet loss to this problem. Furthermore, we introduce a self-supervised clustering task based on text augmentation techniques to improve the generalization of our model. For evaluation, we collect ground truth clusterings from a closed-source LLM and transfer this knowledge to an open-source LLM under the supervised clustering framework, allowing a faster and cheaper open-source model to perform the same task. Experiments on various e-commerce query and product clustering datasets demonstrate that our proposed approach significantly outperforms existing unsupervised and supervised baselines under various external clustering evaluation metrics.
• Abstract（参考訳）: テキスト理解と生成におけるLLM(Large Language Models)の顕著な成功にもかかわらず、テキストクラスタリングタスクの可能性はまだ未定である。 我々は、強力なクローズドソース LLM がエンティティセットの良質なクラスタリングを提供するが、大量の計算能力と関連するコストのためにスケーラビリティがないことを観察した。 CACTUS(Context-Aware ClusTering with aUgmented triplet losS)は、オープンソースのLCMを利用して、エンティティサブセットの効率的かつ効率的なクラスタリング、特にテキストベースのエンティティに焦点を当てた体系的なアプローチである。 既存のテキストクラスタリングメソッドは、エンティティサブセットが提供するコンテキストを効果的にキャプチャできない。 さらに、クラスタリングには言語モデリングに基づくアプローチがいくつかあるが、クラスタリングを教師するタスクのために設計されているものはほとんどない。 本稿では、拡張性のある相互注意機構を通じてコンテキストをキャプチャすることで、LCMを用いたエンティティサブセットのクラスタリングに向けた新しいアプローチを提案する。 本稿では,この問題に直接三重項損失を適用するという本質的な課題に対処する,教師付きクラスタリングに適した拡張三重項損失関数を提案する。 さらに,テキスト拡張技術に基づく自己教師型クラスタリングタスクを導入し,モデルの一般化を改善する。 評価のために、我々は、クローズドソースのLCMから真理クラスタリングを収集し、この知識を教師付きクラスタリングフレームワークの下でオープンソースLCMに転送し、より高速で安価なオープンソースモデルで同じタスクを実行できるようにする。 各種電子商取引クエリおよび製品クラスタリングデータセットの実験により、提案手法は、各種外部クラスタリング評価指標の下で、既存の教師なしベースラインを著しく上回ることを示した。

関連論文リスト

• A3S: A General Active Clustering Method with Pairwise Constraints [66.74627463101837]
  A3Sは、適応クラスタリングアルゴリズムによって得られる初期クラスタ結果に対して、戦略的にアクティブクラスタリングを調整する。 さまざまな実世界のデータセットにわたる広範な実験において、A3Sは、人間のクエリを著しく少なくして、望ましい結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T13:37:03Z)
• Text clustering with LLM embeddings [0.0]
  テキストの埋め込みとクラスタリングアルゴリズムの違いが、テキストデータセットのクラスタリングに与える影響について検討する。 LLMの埋め込みは構造化言語の微妙さを捉えるのに優れており、BERTはパフォーマンスの軽量なオプションをリードしている。
  論文  参考訳（メタデータ） (2024-03-22T11:08:48Z)
• Transferable Deep Clustering Model [14.073783373395196]
  本稿では,データサンプルの分布に応じてクラスタセントロイドを自動的に適応できる,転送可能な新しいディープクラスタリングモデルを提案する。 提案手法では, 試料との関係を計測することで, センチロイドを適応できる新しい注意型モジュールを提案する。 合成および実世界の両方のデータセットに対する実験結果から,提案した移動学習フレームワークの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2023-10-07T23:35:17Z)
• Large Language Models Enable Few-Shot Clustering [88.06276828752553]
  大規模言語モデルは、クエリ効率が良く、数発のセミ教師付きテキストクラスタリングを可能にするために、専門家のガイダンスを増幅できることを示す。 最初の2つのステージにLSMを組み込むことで、クラスタの品質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-07-02T09:17:11Z)
• CEIL: A General Classification-Enhanced Iterative Learning Framework for Text Clustering [16.08402937918212]
  短文クラスタリングのための新しい分類強化反復学習フレームワークを提案する。 各イテレーションにおいて、まず最初に言語モデルを採用して、初期テキスト表現を検索する。 厳密なデータフィルタリングと集約プロセスの後、クリーンなカテゴリラベルを持つサンプルが検索され、監督情報として機能する。 最後に、表現能力が改善された更新言語モデルを使用して、次のイテレーションでクラスタリングを強化する。
  論文  参考訳（メタデータ） (2023-04-20T14:04:31Z)
• A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery [25.900661912504397]
  我々は、教師なしおよび半教師なしの新しい意図発見のための新しいクラスタリングフレームワークUSNIDを提案する。 まず、教師なしまたは半教師なしのデータをフル活用して、浅いセマンティック類似性関係を抽出する。 第2に、クラスタ割り当ての不整合の問題に対処するために、セントロイド誘導クラスタリング機構を設計する。 第3に、教師なしまたは半教師付きデータの高レベルなセマンティクスをキャプチャして、きめ細かい意図的クラスタを見つける。
  論文  参考訳（メタデータ） (2023-04-16T05:30:42Z)
• Unified Multi-View Orthonormal Non-Negative Graph Based Clustering Framework [74.25493157757943]
  我々は,非負の特徴特性を活用し,多視点情報を統合された共同学習フレームワークに組み込む,新しいクラスタリングモデルを定式化する。 また、深層機能に基づいたクラスタリングデータに対するマルチモデル非負グラフベースのアプローチを初めて検討する。
  論文  参考訳（メタデータ） (2022-11-03T08:18:27Z)
• Deep Attention-guided Graph Clustering with Dual Self-supervision [49.040136530379094]
  デュアル・セルフ・スーパービジョン(DAGC)を用いたディープアテンション誘導グラフクラスタリング法を提案する。 我々は,三重項Kulback-Leibler分散損失を持つソフトな自己スーパービジョン戦略と,擬似的な監督損失を持つハードな自己スーパービジョン戦略からなる二重自己スーパービジョンソリューションを開発する。 提案手法は6つのベンチマークデータセットにおける最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-10T06:53:03Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。