論文の概要: ProtAugment: Unsupervised diverse short-texts paraphrasing for intent
detection meta-learning
- arxiv url: http://arxiv.org/abs/2105.12995v1
- Date: Thu, 27 May 2021 08:31:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-28 16:44:45.345570
- Title: ProtAugment: Unsupervised diverse short-texts paraphrasing for intent
detection meta-learning
- Title(参考訳): ProtAugment:意図検出メタラーニングのための教師なし多種多様な短文パラフレーズ
- Authors: Thomas Dopierre, Christophe Gravier, Wilfried Logerais
- Abstract要約: 本稿では,意図検出のためのメタ学習アルゴリズムであるProtAugmentを提案する。
ProtAugmentはPrototypeal Networksの新たな拡張である。
- 参考スコア(独自算出の注目度): 4.689945062721168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research considers few-shot intent detection as a meta-learning
problem: the model is learning to learn from a consecutive set of small tasks
named episodes. In this work, we propose ProtAugment, a meta-learning algorithm
for short texts classification (the intent detection task). ProtAugment is a
novel extension of Prototypical Networks, that limits overfitting on the bias
introduced by the few-shots classification objective at each episode. It relies
on diverse paraphrasing: a conditional language model is first fine-tuned for
paraphrasing, and diversity is later introduced at the decoding stage at each
meta-learning episode. The diverse paraphrasing is unsupervised as it is
applied to unlabelled data, and then fueled to the Prototypical Network
training objective as a consistency loss. ProtAugment is the state-of-the-art
method for intent detection meta-learning, at no extra labeling efforts and
without the need to fine-tune a conditional language model on a given
application domain.
- Abstract(参考訳): 近年の研究では、メタラーニングの問題として、少数の意図検出が考えられている:モデルは、連続した一連の小課題から学習することを学習している。
本研究では,短いテキスト分類(意図検出タスク)のためのメタ学習アルゴリズムであるProtAugmentを提案する。
ProtAugmentはプロトタイプネットワークの新たな拡張であり、各エピソードで数発の分類目的によって導入されたバイアスの過度な適合を制限する。
条件付き言語モデルは、まずパラフレージングのために微調整され、その後、メタラーニングの各エピソードの復号段階で多様性が導入される。
多様なパラフレーズは、ラベルのないデータに適用され、整合性損失としてプロトタイプネットワークトレーニング目標に燃料を供給されるため、教師なしである。
protaugmentはインテント検出メタラーニングの最先端の方法であり、追加のラベル付けはせず、特定のアプリケーションドメインで条件付き言語モデルを微調整する必要もない。
関連論文リスト
- Context-Aware Meta-Learning [54.70551739697928]
本研究では,大規模言語モデルのエミュレートを行うメタ学習アルゴリズムを提案する。
我々のアプローチは、11のメタラーニングベンチマークのうち8つで最先端のアルゴリズムであるP>M>Fを上回り、一致します。
論文 参考訳(メタデータ) (2023-10-17T03:35:27Z) - Open-Vocabulary Semantic Segmentation with Decoupled One-Pass Network [26.97153244517095]
入力画像の視覚言語モデルに1つのパスしか必要としないネットワークを提案する。
本稿ではまず,事前学習した視覚エンコーダにおけるパッチ埋め込み間の有害な干渉を抑制するために,パッチ重大度と呼ばれる新しいネットワーク適応手法を提案する。
そこで我々は,ネットワークがより差別的な特徴に着目するよう促すために,分類アンカー学習を提案する。
論文 参考訳(メタデータ) (2023-04-03T17:59:21Z) - Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。
音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。
本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
論文 参考訳(メタデータ) (2022-05-21T16:52:57Z) - Contextual Multi-View Query Learning for Short Text Classification in
User-Generated Data [6.052423212814052]
COCOBAは2つのビューを構築するためにユーザ投稿のコンテキストを利用する。
次に、各ビューにおける表現の分布を使用して、反対のクラスに割り当てられた領域を検出する。
我々のモデルは、通常ノイズの多いユーザ投稿の言語に対処するために、クエリ・バイ・コミッテ・モデルも採用しています。
論文 参考訳(メタデータ) (2021-12-05T16:17:21Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳(メタデータ) (2021-01-24T22:57:19Z) - Narrative Incoherence Detection [76.43894977558811]
本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。
複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
論文 参考訳(メタデータ) (2020-12-21T07:18:08Z) - Meta-Learning with Context-Agnostic Initialisations [86.47040878540139]
メタ学習プロセスにコンテキスト・逆成分を導入する。
これにより、コンテキストに依存しないタスクを一般化したターゲットへの微調整の初期化が実現される。
我々は,3つのメタ学習アルゴリズムと2つの問題に対するアプローチを評価した。
論文 参考訳(メタデータ) (2020-07-29T08:08:38Z) - Learning to Learn to Disambiguate: Meta-Learning for Few-Shot Word Sense
Disambiguation [26.296412053816233]
単語感覚の曖昧さを解消するメタラーニングフレームワークを提案する。
ゴールは、少数のラベル付きインスタンスから目に見えない単語をあいまいにすることを学ぶことである。
このシナリオにいくつかの一般的なメタ学習アプローチを拡張し、その強みと弱点を分析します。
論文 参考訳(メタデータ) (2020-04-29T17:33:31Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳(メタデータ) (2020-04-12T09:05:47Z) - Meta-Learning across Meta-Tasks for Few-Shot Learning [107.44950540552765]
我々は,メタ・ラーニングを支援するために,メタ・タスク間の関係を活用すべきであり,これらのタスクを戦略的にサンプリングするべきだと論じている。
2種類のメタタスクペアで定義された関係を考察し、それらを活用するための異なる戦略を提案する。
論文 参考訳(メタデータ) (2020-02-11T09:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。