論文の概要: Generalized Category Discovery with Large Language Models in the Loop
- arxiv url: http://arxiv.org/abs/2312.10897v1
- Date: Mon, 18 Dec 2023 02:55:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 21:41:05.455998
- Title: Generalized Category Discovery with Large Language Models in the Loop
- Title（参考訳）: ループにおける大規模言語モデルを用いた一般化カテゴリー探索
- Authors: Wenbin An, Wenkai Shi, Feng Tian, Haonan Lin, QianYing Wang, Yaqiang
Wu, Mingxiang Cai, Luyan Wang, Yan Chen, Haiping Zhu, Ping Chen
- Abstract要約: トレーニングループにLarge Language Modelを導入する,エンドツーエンドのアクティブラーニングフレームワークであるLoopを提案する。
ループはSOTAモデルよりも大きなマージンで優れており、検出されたクラスタの正確なカテゴリ名を生成する。
- 参考スコア（独自算出の注目度）: 10.751408623307446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalized Category Discovery (GCD) is a crucial task that aims to recognize
both known and novel categories from a set of unlabeled data by utilizing a few
labeled data with only known categories. Due to the lack of supervision and
category information, current methods usually perform poorly on novel
categories and struggle to reveal semantic meanings of the discovered clusters,
which limits their applications in the real world. To mitigate above issues, we
propose Loop, an end-to-end active-learning framework that introduces Large
Language Models (LLMs) into the training loop, which can boost model
performance and generate category names without relying on any human efforts.
Specifically, we first propose Local Inconsistent Sampling (LIS) to select
samples that have a higher probability of falling to wrong clusters, based on
neighborhood prediction consistency and entropy of cluster assignment
probabilities. Then we propose a Scalable Query strategy to allow LLMs to
choose true neighbors of the selected samples from multiple candidate samples.
Based on the feedback from LLMs, we perform Refined Neighborhood Contrastive
Learning (RNCL) to pull samples and their neighbors closer to learn
clustering-friendly representations. Finally, we select representative samples
from clusters corresponding to novel categories to allow LLMs to generate
category names for them. Extensive experiments on three benchmark datasets show
that Loop outperforms SOTA models by a large margin and generates accurate
category names for the discovered clusters. We will release our code and data
after publication.
- Abstract（参考訳）: Generalized Category Discovery (GCD) は、既知のカテゴリと新しいカテゴリの両方をラベルなしデータの集合から認識することを目的とした重要なタスクである。
監視やカテゴリ情報の欠如のため、現在の手法では、通常、新しいカテゴリではパフォーマンスが悪く、検出されたクラスタの意味的な意味を明らかにするのに苦労している。
上記の問題を緩和するために,大規模言語モデル(LLM)をトレーニングループに導入するエンドツーエンドのアクティブラーニングフレームワークであるLoopを提案する。
具体的には,近傍の予測一貫性とクラスタ割り当て確率のエントロピーに基づいて,間違ったクラスタに落下する確率の高いサンプルを選択するための局所的不整合サンプリング(lis)を提案する。
次に,複数の候補から選択したサンプルの真隣をllmが選択できるように,スケーラブルなクエリ戦略を提案する。
LLMからのフィードバックに基づき、我々はRefined Neighborhood Contrastive Learning (RNCL)を実行し、サンプルと隣人を引き抜いてクラスタリングフレンドリーな表現を学ぶ。
最後に,新たなカテゴリに対応するクラスタから代表サンプルを選択し,それらのカテゴリ名を生成する。
3つのベンチマークデータセットの大規模な実験により、LoopはSOTAモデルを大きなマージンで上回り、発見したクラスタの正確なカテゴリ名を生成する。
公開後、コードとデータをリリースします。
関連論文リスト
- Text Clustering as Classification with LLMs [6.030435811868953]
本研究では,大規模言語モデル(LLM)の文脈内学習能力を効果的に活用する,テキストクラスタリングのための新しいフレームワークを提案する。
そこで本研究では,テキストクラスタリングをLLMによる分類タスクに変換することを提案する。
我々のフレームワークは、最先端のクラスタリング手法に匹敵する、あるいは優れた性能を達成できることが実験的に証明されている。
論文 参考訳（メタデータ） (2024-09-30T16:57:34Z) - Unsupervised Multimodal Clustering for Semantics Discovery in Multimodal Utterances [24.142013877384603]
本稿では,新しい教師なしマルチモーダルクラスタリング手法 (UMC) を提案する。
UMCは、マルチモーダルデータのための拡張ビューを構築するためのユニークなアプローチを導入し、事前トレーニングを実行するために使用される。
我々は、最先端の手法よりもクラスタリングメトリクスの2-6%のスコアが顕著に改善され、この領域で最初の成功例となった。
論文 参考訳（メタデータ） (2024-05-21T13:24:07Z) - Generalized Category Discovery with Clustering Assignment Consistency [56.92546133591019]
一般化圏発見(GCD)は、最近提案されたオープンワールドタスクである。
クラスタリングの一貫性を促進するための協調学習ベースのフレームワークを提案する。
提案手法は,3つの総合的なベンチマークと3つのきめ細かい視覚認識データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2023-10-30T00:32:47Z) - Large Language Models Enable Few-Shot Clustering [88.06276828752553]
大規模言語モデルは、クエリ効率が良く、数発のセミ教師付きテキストクラスタリングを可能にするために、専門家のガイダンスを増幅できることを示す。
最初の2つのステージにLSMを組み込むことで、クラスタの品質が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2023-07-02T09:17:11Z) - Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。
本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
論文 参考訳（メタデータ） (2023-06-18T08:46:06Z) - Waffling around for Performance: Visual Classification with Random Words
and Broad Concepts [121.60918966567657]
WaffleCLIPはゼロショット視覚分類のためのフレームワークで、LLM生成した記述子をランダムな文字と単語記述子に置き換える。
LLM生成記述子で導入された追加意味論の影響と欠点について、広範囲にわたる実験的研究を行う。
論文 参考訳（メタデータ） (2023-06-12T17:59:48Z) - Actively Supervised Clustering for Open Relation Extraction [42.114747195195655]
本稿では,OpenREのためのアクティブなクラスタリングという,新しい設定を提案する。
設定の鍵は、どのインスタンスにラベルを付けるかを選択することである。
本稿では,未知の関係のクラスタを動的に発見する手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T06:55:02Z) - Interpretable Deep Clustering for Tabular Data [7.972599673048582]
クラスタリングは、データ分析で広く使われている基本的な学習タスクである。
本稿では,インスタンスとクラスタレベルでの解釈可能なクラスタ割り当てを予測する,新たなディープラーニングフレームワークを提案する。
提案手法は,生物,テキスト,画像,物理データセットのクラスタ割り当てを確実に予測できることを示す。
論文 参考訳（メタデータ） (2023-06-07T21:08:09Z) - Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。
これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文 参考訳（メタデータ） (2021-06-20T17:34:55Z) - Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。
我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
論文 参考訳（メタデータ） (2020-10-22T15:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。