論文の概要: A Simple Meta-learning Paradigm for Zero-shot Intent Classification with Mixture Attention Mechanism

• arxiv url: http://arxiv.org/abs/2206.02179v1
• Date: Sun, 5 Jun 2022 13:37:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:31:33.605921
• Title: A Simple Meta-learning Paradigm for Zero-shot Intent Classification with Mixture Attention Mechanism
• Title（参考訳）: 混合注意機構を持つゼロショットインテント分類のための簡易メタラーニングパラダイム
• Authors: Han Liu, Siyang Zhao, Xiaotong Zhang, Feng Zhang, Junjie Sun, Hong Yu, Xianchao Zhang
• Abstract要約: ゼロショット意図分類のためのシンプルなメタ学習パラダイムを提案する。 発話のセマンティック表現を改善するために,新しい混合アテンション機構を導入する。 そこで我々は, メタ学習戦略を用いて, ゼロショット意図分類を改定する。
• 参考スコア（独自算出の注目度）: 17.228616743739412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot intent classification is a vital and challenging task in dialogue systems, which aims to deal with numerous fast-emerging unacquainted intents without annotated training data. To obtain more satisfactory performance, the crucial points lie in two aspects: extracting better utterance features and strengthening the model generalization ability. In this paper, we propose a simple yet effective meta-learning paradigm for zero-shot intent classification. To learn better semantic representations for utterances, we introduce a new mixture attention mechanism, which encodes the pertinent word occurrence patterns by leveraging the distributional signature attention and multi-layer perceptron attention simultaneously. To strengthen the transfer ability of the model from seen classes to unseen classes, we reformulate zero-shot intent classification with a meta-learning strategy, which trains the model by simulating multiple zero-shot classification tasks on seen categories, and promotes the model generalization ability with a meta-adapting procedure on mimic unseen categories. Extensive experiments on two real-world dialogue datasets in different languages show that our model outperforms other strong baselines on both standard and generalized zero-shot intent classification tasks.
• Abstract（参考訳）: ゼロショットインテント分類は対話システムにおいて不可欠で困難な課題であり、注釈付きトレーニングデータなしで、無知なインテントを高速に処理することを目的としている。 より満足な性能を得るためには、より優れた発話特徴の抽出とモデルの一般化能力の強化という2つの側面がある。 本稿では,ゼロショット意図分類のためのシンプルなメタ学習パラダイムを提案する。 発話の意味表現を改善するために,分布的シグネチャの注意と多層パーセプトロンの注意を同時に活用し,関連する単語出現パターンを符号化する混合注意機構を提案する。 参照クラスから未知クラスへのモデルの伝達能力を強化するために,参照カテゴリ上で複数のゼロショット分類タスクをシミュレートしてモデルを訓練するメタラーニング戦略を用いてゼロショットインテント分類を再構成し,未知クラスを模倣するメタ適応手順を用いてモデル一般化能力を促進する。 異なる言語における2つの実世界の対話データセットに関する広範囲な実験は、標準および一般化されたゼロショット意図分類タスクにおいて、我々のモデルが他の強力なベースラインよりも優れていることを示している。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Envisioning Class Entity Reasoning by Large Language Models for Few-shot Learning [13.68867780184022]
  少ないショット学習は、限られた数のビジュアルサンプルを使用して新しい概念を認識することを目的としている。 我々のフレームワークは,Large Language Models(LLMs)から抽出した抽象クラスセマンティクスと具体的なクラスエンティティの両方を組み込んでいる。 難易度の高いワンショット設定では、ResNet-12のバックボーンを利用して、第2の競争相手に比べて平均1.95%の改善を実現しています。
  論文  参考訳（メタデータ） (2024-08-22T15:10:20Z)
• Open-Vocabulary Temporal Action Localization using Multimodal Guidance [67.09635853019005]
  OVTALでは、すべてのカテゴリのトレーニングデータを明示的にキュレートすることなく、任意のアクションカテゴリをビデオで認識することができる。 この柔軟性は、トレーニング中に見られるアクションカテゴリだけでなく、推論で指定された新しいカテゴリも認識しなければならないため、大きな課題を引き起こす。 我々は,ActionFormerを拡張した新しいオープン語彙フレームワークであるOVFormerを紹介した。
  論文  参考訳（メタデータ） (2024-06-21T18:00:05Z)
• Text2Model: Text-based Model Induction for Zero-shot Image Classification [38.704831945753284]
  テキスト記述のみを用いてタスクに依存しない分類器を構築するという課題に対処する。 クラス記述を受信し,マルチクラスモデルを出力するハイパーネットワークを用いてゼロショット分類器を生成する。 本手法は,画像,ポイントクラウド,行動認識など,一連のゼロショット分類タスクにおいて,テキスト記述の範囲を用いて評価する。
  論文  参考訳（メタデータ） (2022-10-27T05:19:55Z)
• DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
  本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。 画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。 DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
  論文  参考訳（メタデータ） (2022-07-04T11:12:12Z)
• Semantic Representation and Dependency Learning for Multi-Label Image Recognition [76.52120002993728]
  本稿では,各カテゴリのカテゴリ固有のセマンティック表現を学習するための,新しい,効果的なセマンティック表現と依存性学習(SRDL)フレームワークを提案する。 具体的には,カテゴリー別注意領域(CAR)モジュールを設計し,チャネル/空間的注意行列を生成してモデルを導出する。 また、カテゴリ間のセマンティック依存を暗黙的に学習するオブジェクト消去(OE)モジュールを設計し、セマンティック認識領域を消去する。
  論文  参考訳（メタデータ） (2022-04-08T00:55:15Z)
• GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot Action Recognition [33.23662792742078]
  ゼロショット動作認識のための2段階のディープニューラルネットワークを提案する。 サンプリング段階では,授業の動作特徴と単語ベクトルによって訓練されたGAN(Generative Adversarial Network)を利用する。 分類段階において、アクションクラスの単語ベクトルと関連するオブジェクトの関係に基づいて知識グラフを構築する。
  論文  参考訳（メタデータ） (2021-05-25T09:34:42Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。