論文の概要: Dial-In LLM: Human-Aligned Dialogue Intent Clustering with LLM-in-the-loop

• arxiv url: http://arxiv.org/abs/2412.09049v1
• Date: Thu, 12 Dec 2024 08:19:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:05.739510
• Title: Dial-In LLM: Human-Aligned Dialogue Intent Clustering with LLM-in-the-loop
• Title（参考訳）: ダイアルインLLM:LLM-in-the-loopによる対話インテントクラスタリング
• Authors: Mengze Hong, Yuanfeng Song, Di Jiang, Wailing Ng, Yanjie Sun, Chen Jason Zhang,
• Abstract要約: 我々は,大言語モデルの優れた言語理解能力を活用して,よりよい校正意図クラスタリングアルゴリズムを設計する。 本稿では,クラスタレベルの改善と高品質なクラスタの継続的な発見を容易にする反復クラスタリングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 13.110146614092349
• License:
• Abstract: The discovery of customer intention from dialogue plays an important role in automated support system. However, traditional text clustering methods are poorly aligned with human perceptions due to the shift from embedding distance to semantic distance, and existing quantitative metrics for text clustering may not accurately reflect the true quality of intent clusters. In this paper, we leverage the superior language understanding capabilities of Large Language Models (LLMs) for designing better-calibrated intent clustering algorithms. We first establish the foundation by verifying the robustness of fine-tuned LLM utility in semantic coherence evaluation and cluster naming, resulting in an accuracy of 97.50% and 94.40%, respectively, when compared to the human-labeled ground truth. Then, we propose an iterative clustering algorithm that facilitates cluster-level refinement and the continuous discovery of high-quality intent clusters. Furthermore, we present several LLM-in-the-loop semi-supervised clustering techniques tailored for intent discovery from customer service dialogue. Experiments on a large-scale industrial dataset comprising 1,507 intent clusters demonstrate the effectiveness of the proposed techniques. The methods outperformed existing counterparts, achieving 6.25% improvement in quantitative metrics and 12% enhancement in application-level performance when constructing an intent classifier.
• Abstract（参考訳）: 対話からの顧客意図の発見は,自動支援システムにおいて重要な役割を担っている。 しかし、従来のテキストクラスタリング手法は、埋め込み距離から意味的距離へのシフトにより、人間の知覚と不一致であり、既存のテキストクラスタリングの定量的指標は、意図的クラスタの真の品質を正確に反映していない可能性がある。 本稿では,Large Language Models(LLMs)の優れた言語理解能力を活用し,より優れた校正意図クラスタリングアルゴリズムを設計する。 まず, セマンティックコヒーレンス評価とクラスタ命名において, 微調整 LLM ユーティリティの堅牢性を検証し, 精度97.50% と 94.40% の精度で基礎を確立する。 そこで我々は,クラスタレベルの改善と高品質なクラスタの継続的な発見を容易にする反復クラスタリングアルゴリズムを提案する。 さらに,顧客サービス対話からの意図発見に適したLLM-in-the-loop半教師付きクラスタリング手法を提案する。 1,507個の意図クラスタからなる大規模産業データセットの実験により,提案手法の有効性が示された。 この手法は既存の手法よりも優れており、定量測定値が6.25%向上し、インテント分類器を構築する際のアプリケーションレベルの性能が12%向上した。

関連論文リスト

• KULCQ: An Unsupervised Keyword-based Utterance Level Clustering Quality Metric [0.5671051073036456]
  キーワードベースのUtterance Level Clustering Quality (KULCQ)は、キーワード分析を利用してクラスタリングの品質を評価する教師なしメトリクスである。 その結果、KULCQは、幾何学的クラスタリング原理との整合性を保ちながら、会話データのセマンティックな関係をよりよく捉えていることがわかった。
  論文  参考訳（メタデータ） (2024-11-15T00:21:02Z)
• Text Clustering as Classification with LLMs [6.030435811868953]
  本研究では,大規模言語モデル(LLM)の文脈内学習能力を効果的に活用する,テキストクラスタリングのための新しいフレームワークを提案する。 そこで本研究では,テキストクラスタリングをLLMによる分類タスクに変換することを提案する。 我々のフレームワークは、最先端のクラスタリング手法に匹敵する、あるいは優れた性能を達成できることが実験的に証明されている。
  論文  参考訳（メタデータ） (2024-09-30T16:57:34Z)
• Context-Aware Clustering using Large Language Models [20.971691166166547]
  CACTUS (Context-Aware ClusTering with aUgmented triplet losS) を提案する。 本稿では,大規模言語モデル(LLM)を用いたクラスタリングエンティティサブセットへの新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-02T03:50:31Z)
• GCC: Generative Calibration Clustering [55.44944397168619]
  本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。 まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。 第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
  論文  参考訳（メタデータ） (2024-04-14T01:51:11Z)
• Large Language Models Enable Few-Shot Clustering [88.06276828752553]
  大規模言語モデルは、クエリ効率が良く、数発のセミ教師付きテキストクラスタリングを可能にするために、専門家のガイダンスを増幅できることを示す。 最初の2つのステージにLSMを組み込むことで、クラスタの品質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-07-02T09:17:11Z)
• CEIL: A General Classification-Enhanced Iterative Learning Framework for Text Clustering [16.08402937918212]
  短文クラスタリングのための新しい分類強化反復学習フレームワークを提案する。 各イテレーションにおいて、まず最初に言語モデルを採用して、初期テキスト表現を検索する。 厳密なデータフィルタリングと集約プロセスの後、クリーンなカテゴリラベルを持つサンプルが検索され、監督情報として機能する。 最後に、表現能力が改善された更新言語モデルを使用して、次のイテレーションでクラスタリングを強化する。
  論文  参考訳（メタデータ） (2023-04-20T14:04:31Z)
• A One-shot Framework for Distributed Clustered Learning in Heterogeneous Environments [54.172993875654015]
  異種環境における分散学習のためのコミュニケーション効率化手法のファミリーを提案する。 ユーザによるローカル計算に基づくワンショットアプローチと、サーバにおけるクラスタリングベースのアグリゲーションステップは、強力な学習保証を提供する。 厳密な凸問題に対しては,ユーザ毎のデータ点数がしきい値を超える限り,提案手法はサンプルサイズの観点から順序最適平均二乗誤差率を達成する。
  論文  参考訳（メタデータ） (2022-09-22T09:04:10Z)
• A Proposition-Level Clustering Approach for Multi-Document Summarization [82.4616498914049]
  クラスタリングアプローチを再検討し、より正確な情報アライメントの提案をグループ化します。 提案手法は,有意な命題を検出し,それらをパラフラスティックなクラスタに分類し,その命題を融合して各クラスタの代表文を生成する。 DUC 2004 とTAC 2011 データセットでは,従来の最先端 MDS 法よりも要約法が優れている。
  論文  参考訳（メタデータ） (2021-12-16T10:34:22Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。