論文の概要: Dial-In LLM: Human-Aligned LLM-in-the-loop Intent Clustering for Customer Service Dialogues

• arxiv url: http://arxiv.org/abs/2412.09049v2
• Date: Wed, 19 Mar 2025 06:14:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 19:58:13.159068
• Title: Dial-In LLM: Human-Aligned LLM-in-the-loop Intent Clustering for Customer Service Dialogues
• Title（参考訳）: Dial-In LLM: 顧客サービス対話のための人間対応LPM-the-loop Intent Clustering
• Authors: Mengze Hong, Di Jiang, Yuanfeng Song, Lu Wang, Wailing Ng, Yanjie Sun, Chen Jason Zhang, Qing Li,
• Abstract要約: 本稿では,微調整の有効性について検討する。 意味的コヒーレンス評価と意図クラスタ命名におけるLLM また、アンも提案している。 LLM-ITLクラスタリングアルゴリズムは反復的な発見を容易にする。 コヒーレントな意図のクラスター
• 参考スコア（独自算出の注目度）: 18.744211667479995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discovering customer intentions in dialogue conversations is crucial for automated service agents. Yet, existing intent clustering methods often fail to align with human perceptions due to the heavy reliance on embedding distance metrics and sentence embeddings. To address these limitations, we propose integrating the semantic understanding capabilities of LLMs into an $\textbf{LLM-in-the-loop (LLM-ITL)}$ intent clustering framework. Specifically, this paper (1) investigates the effectiveness of fine-tuned LLMs in semantic coherence evaluation and intent cluster naming, achieving over 95% accuracy; (2) designs an LLM-ITL clustering algorithm that facilitates the iterative discovery of coherent intent clusters; and (3) proposes task-specific techniques tailored for customer service dialogue intent clustering. Since existing English benchmarks pose limited semantic diversity and intent labels, we introduced a comprehensive Chinese dialogue intent dataset, comprising over 100,000 real customer service calls and 1,507 human-annotated intent clusters. The proposed approaches significantly outperformed LLM-guided baselines, achieving notable improvements in clustering quality and a 12% boost in the downstream intent classification task. Combined with several best practices, our findings highlight the potential of LLM-in-the-loop techniques for scalable and human-aligned problem-solving. Sample code and datasets are available at: https://anonymous.4open.science/r/Dial-in-LLM-0410.
• Abstract（参考訳）: 対話における顧客の意図を明らかにすることは、自動化されたサービスエージェントにとって不可欠である。 しかし、既存の意図クラスタリング手法は、埋め込み距離の指標や文の埋め込みに大きく依存するため、人間の知覚と一致しないことが多い。 これらの制約に対処するために、LLMのセマンティック理解機能を$\textbf{LLM-in-loop (LLM-ITL)}$インテントクラスタリングフレームワークに統合することを提案する。 具体的には,(1)セマンティック・コヒーレンス評価と意図クラスタの命名における微調整 LLM の有効性について検討し,95%以上の精度を実現し,(2)コヒーレントな意図クラスタの反復的発見を容易にする LLM-ITL クラスタリングアルゴリズムを設計し,(3) 顧客サービス対話意図クラスタリングに適したタスク固有手法を提案する。 既存の英語ベンチマークではセマンティックな多様性や意図のラベルが限定されているため,10万人以上の実際の顧客サービスコールと1,507件の人間アノテーションによるインテントクラスタからなる,包括的な中国語対話インテントデータセットを導入しました。 提案手法はLLM誘導ベースラインを著しく上回り,クラスタリング品質が向上し,下流意図分類タスクが12%向上した。 いくつかのベストプラクティスが組み合わさって,LLM-in-the-loop技術によるスケーラブルでヒューマンアラインな問題解決の可能性を強調した。 サンプルコードとデータセットは、https://anonymous.4open.science/r/Dial-in-LLM-0410で公開されている。

関連論文リスト

• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• KULCQ: An Unsupervised Keyword-based Utterance Level Clustering Quality Metric [0.5671051073036456]
  キーワードベースのUtterance Level Clustering Quality (KULCQ)は、キーワード分析を利用してクラスタリングの品質を評価する教師なしメトリクスである。 その結果、KULCQは、幾何学的クラスタリング原理との整合性を保ちながら、会話データのセマンティックな関係をよりよく捉えていることがわかった。
  論文  参考訳（メタデータ） (2024-11-15T00:21:02Z)
• Text Clustering as Classification with LLMs [6.030435811868953]
  本研究では,大規模言語モデル(LLM)の文脈内学習能力を効果的に活用する,テキストクラスタリングのための新しいフレームワークを提案する。 そこで本研究では,テキストクラスタリングをLLMによる分類タスクに変換することを提案する。 我々のフレームワークは、最先端のクラスタリング手法に匹敵する、あるいは優れた性能を達成できることが実験的に証明されている。
  論文  参考訳（メタデータ） (2024-09-30T16:57:34Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• ZeroDL: Zero-shot Distribution Learning for Text Clustering via Large Language Models [5.011816280731356]
  特定の大規模言語モデル(LLM)に対してタスクを文脈化するための,シンプルで効果的な手法を提案する。 本稿では,テキストクラスタリングタスクにおけるこのアプローチの有効性を示すとともに,上記の手順の例による文脈化の重要性を強調する。
  論文  参考訳（メタデータ） (2024-06-19T08:48:05Z)
• Context-Aware Clustering using Large Language Models [20.971691166166547]
  CACTUS (Context-Aware ClusTering with aUgmented triplet losS) を提案する。 本稿では,大規模言語モデル(LLM)を用いたクラスタリングエンティティサブセットへの新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-02T03:50:31Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• End-to-end Learnable Clustering for Intent Learning in Recommendation [54.157784572994316]
  我々は、アンダーラインELCRecと呼ばれる新しい意図学習手法を提案する。 振る舞い表現学習をUnderlineEnd-to-end UnderlineLearnable UnderlineClusteringフレームワークに統合する。 1億3000万ページビューの産業レコメンデーションシステムに本手法をデプロイし,有望な結果を得る。
  論文  参考訳（メタデータ） (2024-01-11T15:22:55Z)
• Human-Instruction-Free LLM Self-Alignment with Limited Samples [64.69906311787055]
  本研究では,人間の関与なしに,大規模言語モデル(LLM)を反復的に自己調整するアルゴリズムを提案する。 既存の研究と異なり、我々のアルゴリズムは人造指示にも報酬にも依存せず、人間の関与を著しく減らしている。 提案手法は,LLMの自己一般化能力を解き明かし,ほぼゼロに近い人的監督と整合性を持たせることができることを示す。
  論文  参考訳（メタデータ） (2024-01-06T14:00:12Z)
• Large Language Models Enable Few-Shot Clustering [88.06276828752553]
  大規模言語モデルは、クエリ効率が良く、数発のセミ教師付きテキストクラスタリングを可能にするために、専門家のガイダンスを増幅できることを示す。 最初の2つのステージにLSMを組み込むことで、クラスタの品質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-07-02T09:17:11Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• CEIL: A General Classification-Enhanced Iterative Learning Framework for Text Clustering [16.08402937918212]
  短文クラスタリングのための新しい分類強化反復学習フレームワークを提案する。 各イテレーションにおいて、まず最初に言語モデルを採用して、初期テキスト表現を検索する。 厳密なデータフィルタリングと集約プロセスの後、クリーンなカテゴリラベルを持つサンプルが検索され、監督情報として機能する。 最後に、表現能力が改善された更新言語モデルを使用して、次のイテレーションでクラスタリングを強化する。
  論文  参考訳（メタデータ） (2023-04-20T14:04:31Z)
• Analysis of Utterance Embeddings and Clustering Methods Related to Intent Induction for Task-Oriented Dialogue [8.07809100513473]
  本研究では,タスク指向のダイアログスキーマの設計における課題を克服するための教師なしアプローチについて検討する。 意図の自動誘導には,(1)インテントラベリングのためのクラスタリングアルゴリズム,(2)ユーザ発話の埋め込み空間の2つの因果関係を仮定する。 クラスタリングによる事前学習したMiniLMは,NMI,ARI,F1,精度,インテント誘導タスクにおけるサンプルカバレッジを著しく向上させた。
  論文  参考訳（メタデータ） (2022-12-05T04:37:22Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。