論文の概要: LANID: LLM-assisted New Intent Discovery

• arxiv url: http://arxiv.org/abs/2503.23740v1
• Date: Mon, 31 Mar 2025 05:34:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:39:14.287845
• Title: LANID: LLM-assisted New Intent Discovery
• Title（参考訳）: LANID: LLM支援の新しいインテント発見
• Authors: Lu Fan, Jiashu Pu, Rongsheng Zhang, Xiao-Ming Wu,
• Abstract要約: 新しいIntent Discovery(NID)は、既存のものを認識する能力を維持しながら、新しい意図を識別することを目的とした重要なタスクである。 TODSを新しい意図に適応しようとするこれまでの努力は、意味表現の不十分さに悩まされてきた。 我々は,大規模言語モデルを用いた軽量NIDエンコーダのセマンティック表現を強化するフレームワークであるLANIDを提案する。
• 参考スコア（独自算出の注目度）: 18.15557766598695
• License:
• Abstract: Task-oriented Dialogue Systems (TODS) often face the challenge of encountering new intents. New Intent Discovery (NID) is a crucial task that aims to identify these novel intents while maintaining the capability to recognize existing ones. Previous efforts to adapt TODS to new intents have struggled with inadequate semantic representation or have depended on external knowledge, which is often not scalable or flexible. Recently, Large Language Models (LLMs) have demonstrated strong zero-shot capabilities; however, their scale can be impractical for real-world applications that involve extensive queries. To address the limitations of existing NID methods by leveraging LLMs, we propose LANID, a framework that enhances the semantic representation of lightweight NID encoders with the guidance of LLMs. Specifically, LANID employs the $K$-nearest neighbors and Density-Based Spatial Clustering of Applications with Noise (DBSCAN) algorithms to sample selective utterance pairs from the training set. It then queries an LLM to ascertain the relationships between these pairs. The data produced from this process is utilized to design a contrastive fine-tuning task, which is then used to train a small encoder with a contrastive triplet loss. Our experimental results demonstrate the efficacy of the proposed method across three distinct NID datasets, surpassing strong baselines in both unsupervised and semi-supervised settings. Our code is available at https://github.com/floatSDSDS/LANID.
• Abstract（参考訳）: タスク指向対話システム(TODS)は、しばしば新しい意図に遭遇する課題に直面します。 New Intent Discovery (NID) は、既存のものを認識する能力を維持しながら、これらの新しい意図を識別することを目的とした重要なタスクである。 TODSを新しい意図に適応しようとするこれまでの努力は、意味表現の不十分さに苦しんだり、外部知識に依存していたりした。 近年、LLM(Large Language Models)は強力なゼロショット機能を示しているが、そのスケールは広範囲なクエリを含む現実世界のアプリケーションでは実用的ではない。 LLMを利用して既存のNID手法の限界を解決するために,軽量なNIDエンコーダの意味表現をLLMのガイダンスで拡張するLANIDを提案する。 具体的には、LANIDは、トレーニングセットから選択的な発話ペアをサンプリングするために、$K$-nearest neighborsとdendentity-based spatial Clustering of Applications with Noise (DBSCAN)アルゴリズムを使用している。 その後、LLMに問い合わせて、これらのペア間の関係を確かめる。 このプロセスから生成されたデータは、コントラスト的な微調整タスクの設計に利用され、コントラスト的な三重項損失を持つ小さなエンコーダの訓練に使用される。 実験の結果,提案手法は3つの異なるNIDデータセットにまたがって有効であり,教師なしと半教師なしの両方の設定において強いベースラインを超えていることがわかった。 私たちのコードはhttps://github.com/floatSDS/LANID.comで公開されています。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Leveraging Large Language Models for Wireless Symbol Detection via In-Context Learning [29.28683810366379]
  本稿では,大規模言語モデル(LLM)の文脈内学習能力(即ち,プロンプト)を活用して,学習や微調整をすることなく,低データ体制下での無線タスクを解決することを提案する。 この結果から,ICL法によるLCMはシンボル復調作業において従来のDNNよりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-08-28T17:19:20Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• RA-Rec: An Efficient ID Representation Alignment Framework for LLM-based Recommendation [9.606111709136675]
  LLMに基づくレコメンデーションのための効率的なID表現フレームワークであるRA-Recを提案する。 RA-Recは最先端のメソッドを大幅に上回り、最大3.0%のHitRate@100の改善を実現している。
  論文  参考訳（メタデータ） (2024-02-07T02:14:58Z)
• O3D: Offline Data-driven Discovery and Distillation for Sequential Decision-Making with Large Language Models [16.91329676173649]
  大規模言語モデル(LLM)を改善するために,オフラインデータ駆動型ディスカバリ・蒸留(O3D)を提案する。 O3Dは、再利用可能なスキルを自動的に発見し、オフラインインタラクションデータに基づいて、複数のタスクにまたがる一般化可能な知識を蒸留する。 2つの対話型意思決定ベンチマーク (ALFWorld と WebShop) による実証結果から,O3D が LLM の意思決定能力を著しく向上できることが確認された。
  論文  参考訳（メタデータ） (2023-10-22T20:28:33Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。