論文の概要: Generalized Category Discovery with Large Language Models in the Loop
- arxiv url: http://arxiv.org/abs/2312.10897v2
- Date: Mon, 27 May 2024 03:27:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 08:15:32.446793
- Title: Generalized Category Discovery with Large Language Models in the Loop
- Title（参考訳）: ループにおける大規模言語モデルを用いた一般化カテゴリー探索
- Authors: Wenbin An, Wenkai Shi, Feng Tian, Haonan Lin, QianYing Wang, Yaqiang Wu, Mingxiang Cai, Luyan Wang, Yan Chen, Haiping Zhu, Ping Chen,
- Abstract要約: トレーニングループにLarge Language Modelを導入する,エンドツーエンドのアクティブラーニングフレームワークであるLoopを提案する。
ループはSOTAモデルよりも大きなマージンで優れており、検出されたクラスタの正確なカテゴリ名を生成する。
- 参考スコア（独自算出の注目度）: 10.440661581492723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalized Category Discovery (GCD) is a crucial task that aims to recognize both known and novel categories from a set of unlabeled data by utilizing a few labeled data with only known categories. Due to the lack of supervision and category information, current methods usually perform poorly on novel categories and struggle to reveal semantic meanings of the discovered clusters, which limits their applications in the real world. To mitigate the above issues, we propose Loop, an end-to-end active-learning framework that introduces Large Language Models (LLMs) into the training loop, which can boost model performance and generate category names without relying on any human efforts. Specifically, we first propose Local Inconsistent Sampling (LIS) to select samples that have a higher probability of falling to wrong clusters, based on neighborhood prediction consistency and entropy of cluster assignment probabilities. Then we propose a Scalable Query strategy to allow LLMs to choose true neighbors of the selected samples from multiple candidate samples. Based on the feedback from LLMs, we perform Refined Neighborhood Contrastive Learning (RNCL) to pull samples and their neighbors closer to learn clustering-friendly representations. Finally, we select representative samples from clusters corresponding to novel categories to allow LLMs to generate category names for them. Extensive experiments on three benchmark datasets show that Loop outperforms SOTA models by a large margin and generates accurate category names for the discovered clusters. Code and data are available at https://github.com/Lackel/LOOP.
- Abstract（参考訳）: Generalized Category Discovery (GCD) は、既知のカテゴリのみのラベル付きデータを活用することで、ラベルなしデータの集合から既知のカテゴリと新しいカテゴリの両方を認識することを目的とした重要なタスクである。
監督とカテゴリ情報の欠如のため、現在の手法は通常、新しいカテゴリではあまり機能せず、発見されたクラスタの意味を明らかにするのに苦労している。
上記の問題を緩和するために,大規模言語モデル(LLM)をトレーニングループに導入するエンドツーエンドのアクティブラーニングフレームワークであるLoopを提案する。
具体的には、まず、近傍の予測一貫性とクラスタ割り当て確率のエントロピーに基づいて、間違ったクラスタに落下する確率の高いサンプルを選択するために、局所一貫性サンプリング(LIS)を提案する。
次に、LLMが複数の候補サンプルから選択したサンプルの真の隣人を選択できるようにするスケーラブルクエリ戦略を提案する。
LLMからのフィードバックに基づき、我々はRefined Neighborhood Contrastive Learning (RNCL)を実行し、サンプルと隣人を引き抜いてクラスタリングフレンドリーな表現を学習する。
最後に、新しいカテゴリに対応するクラスタから代表サンプルを選択し、LCMがそれらのカテゴリ名を生成できるようにする。
3つのベンチマークデータセットの大規模な実験により、LoopはSOTAモデルを大きなマージンで上回り、発見したクラスタの正確なカテゴリ名を生成する。
コードとデータはhttps://github.com/Lackel/LOOP.comで公開されている。
関連論文リスト
- Text Clustering as Classification with LLMs [6.030435811868953]
本研究では,大規模言語モデル(LLM)の文脈内学習能力を効果的に活用する,テキストクラスタリングのための新しいフレームワークを提案する。
そこで本研究では,テキストクラスタリングをLLMによる分類タスクに変換することを提案する。
我々のフレームワークは、最先端のクラスタリング手法に匹敵する、あるいは優れた性能を達成できることが実験的に証明されている。
論文 参考訳（メタデータ） (2024-09-30T16:57:34Z) - Unsupervised Multimodal Clustering for Semantics Discovery in Multimodal Utterances [24.142013877384603]
本稿では,新しい教師なしマルチモーダルクラスタリング手法 (UMC) を提案する。
UMCは、マルチモーダルデータのための拡張ビューを構築するためのユニークなアプローチを導入し、事前トレーニングを実行するために使用される。
我々は、最先端の手法よりもクラスタリングメトリクスの2-6%のスコアが顕著に改善され、この領域で最初の成功例となった。
論文 参考訳（メタデータ） (2024-05-21T13:24:07Z) - Generalized Category Discovery with Clustering Assignment Consistency [56.92546133591019]
一般化圏発見(GCD)は、最近提案されたオープンワールドタスクである。
クラスタリングの一貫性を促進するための協調学習ベースのフレームワークを提案する。
提案手法は,3つの総合的なベンチマークと3つのきめ細かい視覚認識データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2023-10-30T00:32:47Z) - Large Language Models Enable Few-Shot Clustering [88.06276828752553]
大規模言語モデルは、クエリ効率が良く、数発のセミ教師付きテキストクラスタリングを可能にするために、専門家のガイダンスを増幅できることを示す。
最初の2つのステージにLSMを組み込むことで、クラスタの品質が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2023-07-02T09:17:11Z) - Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。
本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
論文 参考訳（メタデータ） (2023-06-18T08:46:06Z) - Waffling around for Performance: Visual Classification with Random Words
and Broad Concepts [121.60918966567657]
WaffleCLIPはゼロショット視覚分類のためのフレームワークで、LLM生成した記述子をランダムな文字と単語記述子に置き換える。
LLM生成記述子で導入された追加意味論の影響と欠点について、広範囲にわたる実験的研究を行う。
論文 参考訳（メタデータ） (2023-06-12T17:59:48Z) - Actively Supervised Clustering for Open Relation Extraction [42.114747195195655]
本稿では,OpenREのためのアクティブなクラスタリングという,新しい設定を提案する。
設定の鍵は、どのインスタンスにラベルを付けるかを選択することである。
本稿では,未知の関係のクラスタを動的に発見する手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T06:55:02Z) - Interpretable Deep Clustering for Tabular Data [7.972599673048582]
クラスタリングは、データ分析で広く使われている基本的な学習タスクである。
本稿では,インスタンスとクラスタレベルでの解釈可能なクラスタ割り当てを予測する,新たなディープラーニングフレームワークを提案する。
提案手法は,生物,テキスト,画像,物理データセットのクラスタ割り当てを確実に予測できることを示す。
論文 参考訳（メタデータ） (2023-06-07T21:08:09Z) - Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。
これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文 参考訳（メタデータ） (2021-06-20T17:34:55Z) - Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。
我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
論文 参考訳（メタデータ） (2020-10-22T15:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。