論文の概要: SPILL: Domain-Adaptive Intent Clustering based on Selection and Pooling with Large Language Models

• arxiv url: http://arxiv.org/abs/2503.15351v1
• Date: Wed, 19 Mar 2025 15:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:05.665011
• Title: SPILL: Domain-Adaptive Intent Clustering based on Selection and Pooling with Large Language Models
• Title（参考訳）: SPILL: 大規模言語モデルによる選択とプールに基づくドメイン適応型インテントクラスタリング
• Authors: I-Fan Lin, Faegheh Hasibi, Suzan Verberne,
• Abstract要約: Selection and Pooling with Large Language Models (SPILL) は、微調整なしでインテントクラスタリングを行うための直感的でドメイン適応的な手法である。 私たちのゴールは、既存の埋め込みを、さらなる微調整なしに、新しいドメインデータセットにより一般化できるようにすることです。 提案手法は,より大規模なモデルを用いて微調整を必要とするモデルであっても,他の最先端の研究と同等の結果が得られる。
• 参考スコア（独自算出の注目度）: 5.257115841810258
• License:
• Abstract: In this paper, we propose Selection and Pooling with Large Language Models (SPILL), an intuitive and domain-adaptive method for intent clustering without fine-tuning. Existing embeddings-based clustering methods rely on a few labeled examples or unsupervised fine-tuning to optimize results for each new dataset, which makes them less generalizable to multiple datasets. Our goal is to make these existing embedders more generalizable to new domain datasets without further fine-tuning. Inspired by our theoretical derivation and simulation results on the effectiveness of sampling and pooling techniques, we view the clustering task as a small-scale selection problem. A good solution to this problem is associated with better clustering performance. Accordingly, we propose a two-stage approach: First, for each utterance (referred to as the seed), we derive its embedding using an existing embedder. Then, we apply a distance metric to select a pool of candidates close to the seed. Because the embedder is not optimized for new datasets, in the second stage, we use an LLM to further select utterances from these candidates that share the same intent as the seed. Finally, we pool these selected candidates with the seed to derive a refined embedding for the seed. We found that our method generally outperforms directly using an embedder, and it achieves comparable results to other state-of-the-art studies, even those that use much larger models and require fine-tuning, showing its strength and efficiency. Our results indicate that our method enables existing embedders to be further improved without additional fine-tuning, making them more adaptable to new domain datasets. Additionally, viewing the clustering task as a small-scale selection problem gives the potential of using LLMs to customize clustering tasks according to the user's goals.
• Abstract（参考訳）: 本稿では,大規模言語モデル (SPILL) による選択とポーリングを提案する。 既存の埋め込みベースのクラスタリング手法は、ラベル付きサンプルや教師なしの微調整を使って、新しいデータセットごとに結果を最適化する。 私たちのゴールは、これらの既存の埋め込みを、さらに微調整することなく、新しいドメインデータセットにより一般化できるようにすることです。 サンプリングおよびプール手法の有効性に関する理論的導出とシミュレーションの結果から着想を得て,クラスタリングタスクを小規模選択問題とみなす。 この問題に対する良い解決策は、クラスタリングのパフォーマンスを改善することです。 そこで、まず、各発話(種と呼ぶ)に対して、既存の埋め込み装置を用いて、その埋め込みを導出する2段階のアプローチを提案する。 次に、種に近い候補のプールを選択するために距離メートル法を適用する。 組込み器は新しいデータセットに最適化されていないため、第2段階では、LLMを使用して、シードと同じ意図を共有するこれらの候補からの発声をさらに選択します。 最後に、これらの選択された候補をシードにプールし、そのシードに精密な埋め込みを導出する。 その結果,本手法は組込み機で直接的に性能を向上し,その強度と効率性を示しながら,はるかに大きなモデルを用いて細調整を必要とするものであっても,他の最先端の研究と同等の結果が得られることがわかった。 提案手法は,新たなドメインデータセットへの適応性を高めるため,追加の微調整を行なわずに既存の組込み装置をさらに改善できることを示唆する。 さらに、クラスタリングタスクを小さな選択問題として見ることは、LLMを使用してクラスタリングタスクをユーザの目標に応じてカスタマイズする可能性を与える。

関連論文リスト

• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• CLAMS: A System for Zero-Shot Model Selection for Clustering [3.7127285734321194]
  本稿では,最適なトランスポートベースデータセットの類似性を利用して,クラスタリング問題に対するモデル選択を可能にするAutoMLシステムを提案する。 その結果、クラスタリングアプリケーションを解決するための類似性に基づく自動モデル選択の有用性が実証された。
  論文  参考訳（メタデータ） (2024-07-15T23:50:07Z)
• Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs [18.242110417706]
  この研究は、膨大なラベルのないオープンデータから事前訓練された言語モデルへの活用と選択に焦点を当てている。 特定の条件下での微調整タスクに対するこのアプローチの最適性を示す。 提案手法は既存の手法よりもはるかに高速で,GPU時間内に数百万のサンプルにスケールアップする。
  論文  参考訳（メタデータ） (2024-05-05T00:08:00Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Generalized Category Discovery with Large Language Models in the Loop [10.440661581492723]
  トレーニングループにLarge Language Modelを導入する,エンドツーエンドのアクティブラーニングフレームワークであるLoopを提案する。 ループはSOTAモデルよりも大きなマージンで優れており、検出されたクラスタの正確なカテゴリ名を生成する。
  論文  参考訳（メタデータ） (2023-12-18T02:55:14Z)
• Going beyond research datasets: Novel intent discovery in the industry setting [60.90117614762879]
  本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。 ドメイン内データに基づく事前学習型言語モデルの利点を示す。 また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
  論文  参考訳（メタデータ） (2023-05-09T14:21:29Z)
• Hard Regularization to Prevent Deep Online Clustering Collapse without Data Augmentation [65.268245109828]
  オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。 オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。 本稿では,データ拡張を必要としない手法を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:23:26Z)
• S$^3$VAADA: Submodular Subset Selection for Virtual Adversarial Active Domain Adaptation [49.01925978752677]
  現実のシナリオでは、少数のターゲットデータに対してラベルを取得することは可能かもしれません。 我々は,S$3$VAADAを提案する。これは,ラベルに対する最大情報サブセットを選択するための,新しいサブモジュール基準を導入し,また,クラスタベースのDA手順を強化する。 我々のアプローチは、ドメインシフトの度合いの異なるデータセットにおいて、競合する最先端のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-09-18T10:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。