論文の概要: Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning
- arxiv url: http://arxiv.org/abs/2410.14755v1
- Date: Fri, 18 Oct 2024 07:24:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:22:24.665165
- Title: Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning
- Title（参考訳）: インテントの制御可能な発見:半教師付きコントラスト学習を用いたインクリメンタルディープクラスタリング
- Authors: Mrinal Rawat, Hithesh Sankararaman, Victor Barres,
- Abstract要約: 制御可能なインテント発見(CDI)フレームワークドメインと事前知識は、教師なしのコントラスト学習のシーケンスを用いて組み込まれている。
このディープ・クラスタリング・プロセスが、どのようにしてヒューマン・イン・ザ・ループによる漸進的な発見戦略の一部となるかを示す。
- 参考スコア（独自算出の注目度）: 2.515417765496967
- License:
- Abstract: Deriving value from a conversational AI system depends on the capacity of a user to translate the prior knowledge into a configuration. In most cases, discovering the set of relevant turn-level speaker intents is often one of the key steps. Purely unsupervised algorithms provide a natural way to tackle discovery problems but make it difficult to incorporate constraints and only offer very limited control over the outcomes. Previous work has shown that semi-supervised (deep) clustering techniques can allow the system to incorporate prior knowledge and constraints in the intent discovery process. However they did not address how to allow for control through human feedback. In our Controllable Discovery of Intents (CDI) framework domain and prior knowledge are incorporated using a sequence of unsupervised contrastive learning on unlabeled data followed by fine-tuning on partially labeled data, and finally iterative refinement of clustering and representations through repeated clustering and pseudo-label fine-tuning. In addition, we draw from continual learning literature and use learning-without-forgetting to prevent catastrophic forgetting across those training stages. Finally, we show how this deep-clustering process can become part of an incremental discovery strategy with human-in-the-loop. We report results on both CLINC and BANKING datasets. CDI outperforms previous works by a significant margin: 10.26% and 11.72% respectively.
- Abstract（参考訳）: 会話型AIシステムから価値を引き出すには、ユーザの事前知識を構成に変換する能力に依存する。
ほとんどの場合、関連するターンレベルの話者意図の集合を見つけることは、しばしば重要なステップの1つである。
純粋に教師なしのアルゴリズムは、発見問題に対処する自然な方法を提供するが、制約を組み込むことが難しく、結果に対する非常に限定的な制御しか提供しない。
これまでの研究では、半教師付き(ディープ)クラスタリング技術により、システムがインテント発見プロセスに事前の知識と制約を組み込むことが可能であった。
しかし、人間からのフィードバックによる制御を可能にする方法については言及しなかった。
The Controllable Discovery of Intents (CDI) framework domain and prior knowledge is incorporated using a sequence of unsupervised contrastive learning on unlabeled data followed by fine-tuning on part labeled data, and finally repeaterative refinement of clustering and pseudo-label fine-tuning。
さらに、継続学習文献から学び、学習不要の学習を用いて、これらの訓練段階における破滅的な忘れ込みを防ぐ。
最後に、このディープクラスタリングプロセスが、どのようにしてヒューマン・イン・ザ・ループによるインクリメンタルな発見戦略の一部となるかを示す。
CLINCとBANKINGのデータセットについて報告する。
CDIは、それぞれ10.26%と11.72%の差で以前の作品を上回っている。
関連論文リスト
- Zero-Shot Generalization during Instruction Tuning: Insights from Similarity and Granularity [84.12126298229866]
命令チューニング中のゼロショット一般化は非常に早い時期に行われることを示す。
また、「タスク」の制約を伴わずに、命令チューニング中に非常によく似た、きめ細かなトレーニングデータに遭遇することで、より一般化できることを示す。
インストラクションチューニング中のゼロショット一般化は、インスタンスレベルでのトレーニングとテストデータ間の類似性に基づく一般化の形式であることを示す。
論文 参考訳（メタデータ） (2024-06-17T16:40:21Z) - Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳（メタデータ） (2024-04-14T05:02:00Z) - Learnability Gaps of Strategic Classification [68.726857356532]
我々は,戦略的分類と標準学習の間にある学習可能性のギャップという,根本的な問題に対処することに注力する。
ほぼ厳密なサンプルの複雑さと後悔の限界を提供し、以前の結果よりも大幅に改善します。
この設定における我々のアルゴリズムは、独立して興味を持ち、マルチラベル学習のような他の問題にも適用できる。
論文 参考訳（メタデータ） (2024-02-29T16:09:19Z) - Unsupervised Continual Anomaly Detection with Contrastively-learned
Prompt [80.43623986759691]
UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。
このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。
我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
論文 参考訳（メタデータ） (2024-01-02T03:37:11Z) - COOLer: Class-Incremental Learning for Appearance-Based Multiple Object
Tracking [32.47215340215641]
本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。
オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。
我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
論文 参考訳（メタデータ） (2023-10-04T17:49:48Z) - Enhancing Adversarial Robustness in Low-Label Regime via Adaptively
Weighted Regularization and Knowledge Distillation [1.675857332621569]
ラベル付きデータが少ない半教師付き対人訓練について検討した。
提案する正則化項と知識蒸留を組み合わせた半教師付き対角訓練アルゴリズムを開発した。
提案アルゴリズムは,既存のアルゴリズムと比較して,最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2023-08-08T05:48:38Z) - A Deep Dive into Deep Cluster [0.2578242050187029]
DeepClusterは、ビジュアル表現のシンプルでスケーラブルな教師なし事前トレーニングである。
本稿では,DeepClusterの収束と性能が,畳み込み層のランダムフィルタの品質と選択されたクラスタ数の相互作用に依存することを示す。
論文 参考訳（メタデータ） (2022-07-24T22:55:09Z) - Automated Imbalanced Classification via Layered Learning [0.734084539365505]
トレーニングインスタンスのクラス分布のバランスをとるために再サンプリング戦略を適用することは、これらの問題に対処するための一般的なアプローチである。
多くの最先端の手法は、再サンプリングプロセスを実行するために決定境界に近い関心の事例を見つける。
オーバーサンプリングは、少数層からインスタンスに含まれる情報を伝播することで、過度に適合する可能性を高める可能性がある。
論文 参考訳（メタデータ） (2022-05-05T10:32:24Z) - Meta Clustering Learning for Large-scale Unsupervised Person
Re-identification [124.54749810371986]
メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。
MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。
提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
論文 参考訳（メタデータ） (2021-11-19T04:10:18Z) - Discovering New Intents with Deep Aligned Clustering [19.11073686645496]
限定された既知の意図データを用いて新しい意図を発見するための効果的な方法であるDeep Aligned Clusteringを提案する。
未知の新たな意図によって、低信頼な意図的クラスタを排除し、意図的カテゴリの数を予測する。
2つのベンチマークデータセットの実験は、私たちの方法がより堅牢であり、最先端の方法よりも大幅に改善されることを示しています。
論文 参考訳（メタデータ） (2020-12-16T14:32:06Z) - Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。
具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
論文 参考訳（メタデータ） (2020-07-07T04:17:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。