論文の概要: Prompt Learning With Knowledge Memorizing Prototypes For Generalized Few-Shot Intent Detection

• arxiv url: http://arxiv.org/abs/2309.04971v1
• Date: Sun, 10 Sep 2023 09:16:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 15:17:16.682656
• Title: Prompt Learning With Knowledge Memorizing Prototypes For Generalized Few-Shot Intent Detection
• Title（参考訳）: 一般化Few-Shotインテント検出のための知識記憶プロトタイプによるプロンプト学習
• Authors: Chaiyut Luoyiching, Yangning Li, Yinghui Li, Rongsheng Li, Hai-Tao Zheng, Nannan Zhou, Hanjing Su
• Abstract要約: 汎用Few-Shot Intent Detection (GFSID) は、目に見える意図と新しい意図の両方を同時に分類する必要があるため、困難かつ現実的である。 従来のGFSID法は、エピソード学習パラダイムに依存していた。 本稿では,GFSIDタスクをクラスインクリメンタル学習パラダイムに変換することを提案する。
• 参考スコア（独自算出の注目度）: 22.653220906899612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalized Few-Shot Intent Detection (GFSID) is challenging and realistic because it needs to categorize both seen and novel intents simultaneously. Previous GFSID methods rely on the episodic learning paradigm, which makes it hard to extend to a generalized setup as they do not explicitly learn the classification of seen categories and the knowledge of seen intents. To address the dilemma, we propose to convert the GFSID task into the class incremental learning paradigm. Specifically, we propose a two-stage learning framework, which sequentially learns the knowledge of different intents in various periods via prompt learning. And then we exploit prototypes for categorizing both seen and novel intents. Furthermore, to achieve the transfer knowledge of intents in different stages, for different scenarios we design two knowledge preservation methods which close to realistic applications. Extensive experiments and detailed analyses on two widely used datasets show that our framework based on the class incremental learning paradigm achieves promising performance.
• Abstract（参考訳）: 汎用Few-Shot Intent Detection (GFSID) は、目に見える意図と新しい意図の両方を同時に分類する必要があるため、困難かつ現実的である。 従来の GFSID の手法はエピソード学習パラダイムに依存していたため,目に見えるカテゴリの分類や目に見える意図の知識を明示的に学ばないため,一般的な設定に拡張することは困難であった。 このジレンマに対処するために,GFSIDタスクをクラスインクリメンタル学習パラダイムに変換することを提案する。 具体的には,様々な期間における異なる意図の知識を逐次学習する2段階学習フレームワークを提案する。 そしてプロトタイプを利用して、目に見えるインテントと新しいインテントの両方を分類します。 さらに,異なる段階における意図の伝達知識を達成するために,現実的な応用に近い2つの知識保存手法を設計する。 広く使われている2つのデータセットに関する広範な実験と詳細な分析は、クラスインクリメンタル学習パラダイムに基づいたフレームワークが有望なパフォーマンスを達成していることを示している。

関連論文リスト

• Contextuality Helps Representation Learning for Generalized Category Discovery [5.885208652383516]
  本稿では、文脈性の概念を活用することにより、一般化カテゴリー発見(GCD)への新たなアプローチを提案する。 我々のモデルでは,コントラスト学習に最も近いコンテキストが使用されるインスタンスレベルと,コントラスト学習を利用するクラスタレベルという,2つのコンテキストレベルを統合している。 文脈情報の統合は、特徴学習を効果的に改善し、その結果、すべてのカテゴリの分類精度が向上する。
  論文  参考訳（メタデータ） (2024-07-29T07:30:41Z)
• Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
  音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。 本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。 本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2024-05-31T14:34:23Z)
• Vision-Language Meets the Skeleton: Progressively Distillation with Cross-Modal Knowledge for 3D Action Representation Learning [20.34477942813382]
  スケルトンに基づく行動表現学習は、骨格配列を符号化することで人間の行動を理解し理解することを目的としている。 クロスモーダル・コントラッシブ・ラーニングに基づく新しいスケルトンベースのトレーニング・フレームワークを提案する。 提案手法は,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-05-31T03:40:15Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models [64.24227572048075]
  本稿では,視覚言語モデルのためのKnowledge-Aware Prompt Tuning(KAPT)フレームワークを提案する。 我々のアプローチは、人間の知性からインスピレーションを得ており、外部知識は、通常、オブジェクトの新たなカテゴリを認識するために組み込まれています。
  論文  参考訳（メタデータ） (2023-08-22T04:24:45Z)
• Slot Induction via Pre-trained Language Model Probing and Multi-level Contrastive Learning [62.839109775887025]
  トークンレベルのスロットアノテーションの明示的な知識なしでスロット境界を誘導することを目的としたスロットインジェクション(SI)タスク。 PLMから抽出した教師なし意味知識を活用するために、教師なし事前学習言語モデル(PLM)探索とコントラスト学習機構を活用することを提案する。 提案手法は,2つのNLUベンチマークデータセット上でトークンレベルの教師付きモデルとのギャップを埋めることができ,SIタスクに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-08-09T05:08:57Z)
• Novel Class Discovery without Forgetting [72.52222295216062]
  我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。 ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。 CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
  論文  参考訳（メタデータ） (2022-07-21T17:54:36Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)
• Learning Disentangled Intent Representations for Zero-shot Intent Detection [13.19024497857648]
  DIR(Disentangled Representations)を学習するために、見知らぬクラスラベルを利用するクラス変換フレームワークを提案する。 本枠組みでは,意図の区別をモデルが学習することを奨励するマルチタスク学習の目標を提案する。 2つの実世界のデータセットの実験は、提案されたフレームワークがベースラインシステムに一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2020-12-03T06:41:09Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。