論文の概要: Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing

• arxiv url: http://arxiv.org/abs/2010.03546v1
• Date: Wed, 7 Oct 2020 17:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 23:19:26.902703
• Title: Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing
• Title（参考訳）: 合成タスク指向意味解析のための低リソース領域適応
• Authors: Xilun Chen, Asish Ghoshal, Yashar Mehdad, Luke Zettlemoyer and Sonal Gupta
• Abstract要約: タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
• 参考スコア（独自算出の注目度）: 85.35582118010608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task-oriented semantic parsing is a critical component of virtual assistants, which is responsible for understanding the user's intents (set reminder, play music, etc.). Recent advances in deep learning have enabled several approaches to successfully parse more complex queries (Gupta et al., 2018; Rongali et al.,2020), but these models require a large amount of annotated training data to parse queries on new domains (e.g. reminder, music). In this paper, we focus on adapting task-oriented semantic parsers to low-resource domains, and propose a novel method that outperforms a supervised neural model at a 10-fold data reduction. In particular, we identify two fundamental factors for low-resource domain adaptation: better representation learning and better training techniques. Our representation learning uses BART (Lewis et al., 2019) to initialize our model which outperforms encoder-only pre-trained representations used in previous work. Furthermore, we train with optimization-based meta-learning (Finn et al., 2017) to improve generalization to low-resource domains. This approach significantly outperforms all baseline methods in the experiments on a newly collected multi-domain task-oriented semantic parsing dataset (TOPv2), which we release to the public.
• Abstract（参考訳）: タスク指向セマンティックパーシングは仮想アシスタントの重要なコンポーネントであり、ユーザの意図(リマインダーの設定、音楽の再生など)を理解する責任がある。 近年のディープラーニングの進歩により、より複雑なクエリを解析するいくつかのアプローチ(Gupta et al., 2018; Rongali et al., 2020)が可能になったが、これらのモデルは新しいドメイン(リマインダー、音楽など)のクエリを解析するために大量の注釈付きトレーニングデータを必要とする。 本稿では,タスク指向意味パーサを低リソース領域に適用することに着目し,教師付きニューラルネットワークを10倍のデータ削減で上回る新しい手法を提案する。 特に,低リソース領域適応のための2つの基本的な要因を明らかにする。 我々の表現学習は、BART(Lewis et al., 2019)を用いて、エンコーダのみの事前訓練された表現よりも優れたモデルを初期化する。 さらに、最適化に基づくメタラーニング(finn et al., 2017)により、低リソースドメインへの一般化を改善する訓練を行う。 このアプローチは、新たに収集したマルチドメインタスク指向セマンティックパースデータセット(topv2)の実験において、すべてのベースラインメソッドを大幅に上回っています。

関連論文リスト

• Low-Resource Compositional Semantic Parsing with Concept Pretraining [35.35201295013346]
  このようなドメイン適応を自動的に実行するアーキテクチャを提案する。 基本のseq2seqアーキテクチャを使用し、新しいドメインからインテントとスロットタグをエンコードする概念エンコーダでそれを拡張します。 TOPv2データセット上での合成意味解析において,数発,ゼロショットの結果が得られた。
  論文  参考訳（メタデータ） (2023-01-24T04:27:27Z)
• Combining Data Generation and Active Learning for Low-Resource Question Answering [23.755283239897132]
  低リソース環境での性能向上を図るために,質問応答生成によるデータ拡張とアクティブラーニングを組み合わせた新しい手法を提案する。 我々の新しいアプローチは、人間がデータ生成アプローチに組み込まれることで、低リソースでドメイン固有の設定のパフォーマンスが向上することを示している。
  論文  参考訳（メタデータ） (2022-11-27T16:31:33Z)
• On the Use of External Data for Spoken Named Entity Recognition [40.93448412171246]
  近年の自己教師型音声表現の進歩により,ラベル付きデータに制限のある学習モデルを考えることが可能になった。 自己学習、知識蒸留、トランスファーラーニングなど、さまざまなアプローチを採用し、エンドツーエンドモデルとパイプラインアプローチの両方に適用性を検討する。
  論文  参考訳（メタデータ） (2021-12-14T18:49:26Z)
• Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification [59.326456778057384]
  本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。 また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。 実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2020-12-01T11:38:16Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Meta-learning for Few-shot Natural Language Processing: A Survey [10.396506243272158]
  Few-shot Natural Language Processing (NLP) は、ラベル付き例のごく一部に付随するNLPタスクを指す。 本稿では,NLP領域,特に少数ショットアプリケーションに焦点をあてる。 メタラーニングを数ショットNLPに適用する際の、より明確な定義、進捗の概要、一般的なデータセットを提供しようとしている。
  論文  参考訳（メタデータ） (2020-07-19T06:36:41Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification [91.67977602992657]
  本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。 このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
  論文  参考訳（メタデータ） (2020-03-20T15:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。