論文の概要: Low-Resource Compositional Semantic Parsing with Concept Pretraining

• arxiv url: http://arxiv.org/abs/2301.09809v1
• Date: Tue, 24 Jan 2023 04:27:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 14:29:20.177475
• Title: Low-Resource Compositional Semantic Parsing with Concept Pretraining
• Title（参考訳）: 概念事前学習による低リソース構成意味解析
• Authors: Subendhu Rongali, Mukund Sridhar Harakere, Haidar Khan, Konstantine Arkoudas, Wael Hamza, and Andrew McCallum
• Abstract要約: このようなドメイン適応を自動的に実行するアーキテクチャを提案する。 基本のseq2seqアーキテクチャを使用し、新しいドメインからインテントとスロットタグをエンコードする概念エンコーダでそれを拡張します。 TOPv2データセット上での合成意味解析において,数発,ゼロショットの結果が得られた。
• 参考スコア（独自算出の注目度）: 35.35201295013346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic parsing plays a key role in digital voice assistants such as Alexa, Siri, and Google Assistant by mapping natural language to structured meaning representations. When we want to improve the capabilities of a voice assistant by adding a new domain, the underlying semantic parsing model needs to be retrained using thousands of annotated examples from the new domain, which is time-consuming and expensive. In this work, we present an architecture to perform such domain adaptation automatically, with only a small amount of metadata about the new domain and without any new training data (zero-shot) or with very few examples (few-shot). We use a base seq2seq (sequence-to-sequence) architecture and augment it with a concept encoder that encodes intent and slot tags from the new domain. We also introduce a novel decoder-focused approach to pretrain seq2seq models to be concept aware using Wikidata and use it to help our model learn important concepts and perform well in low-resource settings. We report few-shot and zero-shot results for compositional semantic parsing on the TOPv2 dataset and show that our model outperforms prior approaches in few-shot settings for the TOPv2 and SNIPS datasets.
• Abstract（参考訳）: セマンティック解析は、自然言語を構造化された意味表現にマッピングすることで、Alexa、Siri、Google Assistantといったデジタル音声アシスタントにおいて重要な役割を果たす。 新しいドメインを追加することで音声アシスタントの機能を改善したい場合、基礎となるセマンティックパースモデルは、時間と費用のかかる新しいドメインの注釈付きサンプルを使って再トレーニングする必要があります。 本研究では,新しいドメインに関するメタデータが少量で,新たなトレーニングデータ(ゼロショット)やごく少数の例(フェーショット)がなければ,そのようなドメイン適応を自動的に実行するアーキテクチャを提案する。 基本のseq2seqアーキテクチャを使用し、新しいドメインからインテントとスロットタグをエンコードする概念エンコーダでそれを拡張します。 また, Wikidataを用いてセック2セックモデルを事前学習し, 重要な概念を学習し, 低リソース環境下での良好な性能を実現するための新しいデコーダ指向アプローチを提案する。 本研究では,TOPv2データセットの合成意味解析における数ショットと0ショットの結果を報告し,TOPv2データセットとSNIPSデータセットの少数ショット設定において,我々のモデルが先行アプローチより優れていることを示す。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Towards Zero-Shot Frame Semantic Parsing with Task Agnostic Ontologies and Simple Labels [0.9236074230806577]
  OpenFSPは単純なラベルから新しいドメインを簡単に作成するためのフレームワークである。 我々のアプローチは、小さな、しかし表現力のある、ドメインに依存しないスロットタイプを作成することに依存します。 私たちのモデルは、この単純なラベル設定で強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-05T18:47:18Z)
• Training Naturalized Semantic Parsers with Very Little Data [10.709587018625275]
  State-of-the-art(SOTA)セマンティクスは、大量のテキストに基づいて事前訓練された大規模な言語モデルに基づくセク2セックアーキテクチャである。 最近の研究は意味解析の改革を探求しており、出力シーケンスはそれ自体が自然言語文である。 本手法は,Overnightデータセット上で新たなSOTA数ショット性能を実現する。
  論文  参考訳（メタデータ） (2022-04-29T17:14:54Z)
• RETRONLU: Retrieval Augmented Task-Oriented Semantic Parsing [11.157958012672202]
  マルチドメインタスク指向のセマンティックパーシングの問題に対して,検索に基づくモデリングのアイデアを適用している。 我々のアプローチであるRetroNLUは、シーケンス・ツー・シーケンス・モデルアーキテクチャを検索コンポーネントで拡張する。 近隣の検索コンポーネントの品質、モデルの感度を分析し、発話の複雑さの異なる意味解析の性能を分解する。
  論文  参考訳（メタデータ） (2021-09-21T19:30:30Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)
• Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling [65.51280121472146]
  私たちは本質的にオントロジーラベルについて知っているものを利用して、効率的なセマンティック解析モデルを構築します。 我々のモデルはTOPv2から派生した低リソースのベンチマークを用いて高効率である。
  論文  参考訳（メタデータ） (2021-04-15T04:01:02Z)
• Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations [0.8203855808943658]
  本研究では,ニューラルセマンティック解析のための合成データ生成の可能性を検討する。 具体的には、まず既存のラベル付き発話からマスク付きテンプレートを抽出し、次に微調整BARTを用いて合成発話条件を生成する。 ナビゲーション領域のためのFacebook TOPデータセットを評価する際に、我々のアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2020-11-03T22:55:40Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification [91.67977602992657]
  本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。 このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
  論文  参考訳（メタデータ） (2020-03-20T15:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。