論文の概要: The Devil is in the Details: On Models and Training Regimes for Few-Shot Intent Classification

• arxiv url: http://arxiv.org/abs/2210.06440v1
• Date: Wed, 12 Oct 2022 17:37:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 14:20:57.201582
• Title: The Devil is in the Details: On Models and Training Regimes for Few-Shot Intent Classification
• Title（参考訳）: The Devil is in the details: On Models and Training Regimes for Few-Shot Intent Classification
• Authors: Mohsen Mesgar, Thy Thy Tran, Goran Glavas, Iryna Gurevych
• Abstract要約: Few-shot Classification (FSIC) は、モジュラータスク指向の対話システムにおいて重要な課題の1つである。 クロスエンコーダアーキテクチャとエピソードメタラーニングがFSICの最高の性能をもたらすことを示す。 本研究は,FSICにおける最先端研究の実施の道筋をたどるものである。
• 参考スコア（独自算出の注目度）: 81.60168035505039
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Few-shot Intent Classification (FSIC) is one of the key challenges in modular task-oriented dialog systems. While advanced FSIC methods are similar in using pretrained language models to encode texts and nearest neighbour-based inference for classification, these methods differ in details. They start from different pretrained text encoders, use different encoding architectures with varying similarity functions, and adopt different training regimes. Coupling these mostly independent design decisions and the lack of accompanying ablation studies are big obstacle to identify the factors that drive the reported FSIC performance. We study these details across three key dimensions: (1) Encoding architectures: Cross-Encoder vs Bi-Encoders; (2) Similarity function: Parameterized (i.e., trainable) functions vs non-parameterized function; (3) Training regimes: Episodic meta-learning vs the straightforward (i.e., non-episodic) training. Our experimental results on seven FSIC benchmarks reveal three important findings. First, the unexplored combination of the cross-encoder architecture (with parameterized similarity scoring function) and episodic meta-learning consistently yields the best FSIC performance. Second, Episodic training yields a more robust FSIC classifier than non-episodic one. Third, in meta-learning methods, splitting an episode to support and query sets is not a must. Our findings paves the way for conducting state-of-the-art research in FSIC and more importantly raise the community's attention to details of FSIC methods. We release our code and data publicly.
• Abstract（参考訳）: Few-shot Intent Classification (FSIC)は、モジュール型タスク指向対話システムにおいて重要な課題の1つである。 高度なFSIC手法は、事前訓練された言語モデルを用いてテキストをエンコードするのと類似しているが、これらの手法は詳細によって異なる。 それらは、異なる事前訓練されたテキストエンコーダから始まり、異なる類似機能を持つ異なるエンコーディングアーキテクチャを使用し、異なるトレーニング規則を採用する。 これらのほとんど独立した設計決定と付随するアブレーション研究の欠如は、報告されたFSICのパフォーマンスを駆動する要因を特定する上で大きな障害となる。 1)アーキテクチャ:クロスエンコーダ対バイエンコーダ;(2)類似関数:パラメータ化(訓練可能)関数対非パラメータ化関数;(3)訓練体制:エピソディックなメタラーニングと単純(非エピソディック)トレーニング。 7つのFSICベンチマーク実験の結果, 3つの重要な結果が得られた。 第一に、クロスエンコーダアーキテクチャ(パラメータ化類似度スコアリング関数)とエピソードメタラーニングの組み合わせは、常に最高のFSIC性能が得られる。 第二に、エピソディックトレーニングは非エピソディックトレーニングよりも堅牢なFSIC分類器をもたらす。 第3に、メタラーニングメソッドでは、サポートとクエリセットのためにエピソードを分割することは必須ではない。 本研究は,FSICにおける最先端研究の実施方法を明らかにするとともに,FSIC手法の詳細に対するコミュニティの注意を喚起するものである。 コードとデータを公開しています。

関連論文リスト

• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• E3CM: Epipolar-Constrained Cascade Correspondence Matching [19.650006628979355]
  本稿では,新しい明示的プログラミング手法として,エピポーラ制約カスケード対応(E3CM)を導入する。 従来の方法とは異なり、E3CMは事前訓練された畳み込みニューラルネットワークを利用して対応する。 本研究では,E3CMの性能を包括的実験により広範囲に評価し,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-31T08:46:12Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• SimCLF: A Simple Contrastive Learning Framework for Function-level Binary Embeddings [2.1222884030559315]
  関数レベルのバイナリ埋め込みのための単純なコントラスト学習フレームワークSimCLFを提案する。 我々は教師なし学習アプローチを採用し、インスタンス識別としてバイナリコード類似性検出を定式化する。 SimCLFは分解されたバイナリ関数を直接操作し、任意のエンコーダで実装できる。
  論文  参考訳（メタデータ） (2022-09-06T12:09:45Z)
• Learning Phone Recognition from Unpaired Audio and Phone Sequences Based on Generative Adversarial Network [58.82343017711883]
  そこで本研究では,不適切な音声系列や発話から直接学習する方法について検討する。 GAN訓練を第1段階に導入し,無声音声と音声シーケンスのマッピング関係を求める。 第2段階では、発電機の出力からトレーニングするために別のHMMモデルが導入され、性能が向上する。
  論文  参考訳（メタデータ） (2022-07-29T09:29:28Z)
• Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference [74.80730361332711]
  コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。 単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2022-04-15T02:55:58Z)
• A Closer Look at Few-Shot Video Classification: A New Baseline and Benchmark [33.86872697028233]
  本研究は,3つのコントリビューションを生かした映像分類の詳細な研究である。 まず,既存のメートル法を一貫した比較研究を行い,表現学習の限界を明らかにする。 第2に,新しいアクションクラスとImageNetオブジェクトクラスとの間には高い相関関係があることが判明した。 第3に,事前学習をせずに将来的な数ショットビデオ分類を容易にするため,より多くのベースデータを持つ新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-10-24T06:01:46Z)
• Joint Inductive and Transductive Learning for Video Object Segmentation [107.32760625159301]
  半教師付きオブジェクトセグメンテーションは、第1フレームのマスクだけを与えられたビデオシーケンスで対象オブジェクトをセグメンテーションするタスクである。 過去の最も優れた手法は、マッチングベースの帰納的推論やオンライン帰納的学習を採用していた。 本稿では,トランスダクティブ学習とインダクティブ学習を統合したフレームワークに統合し,それら間の補完を利用して,高精度かつ堅牢なビデオオブジェクトセグメンテーションを提案する。
  論文  参考訳（メタデータ） (2021-08-08T16:25:48Z)
• Sharing Matters for Generalization in Deep Metric Learning [22.243744691711452]
  本研究は,アノテーションやデータトレーニングを必要とせずに,クラスを分離した特徴を学習する方法を検討する。 我々のアプローチを新しいトリプルトサンプリング戦略として定式化することにより、最近のランキング損失フレームワークに容易に適用できる。
  論文  参考訳（メタデータ） (2020-04-12T10:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。