論文の概要: Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling

• arxiv url: http://arxiv.org/abs/2104.07224v1
• Date: Thu, 15 Apr 2021 04:01:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:04:15.622893
• Title: Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling
• Title（参考訳）: 固有モデリングによる低リソースタスク指向セマンティックパーシング
• Authors: Shrey Desai and Akshat Shrivastava and Alexander Zotov and Ahmed Aly
• Abstract要約: 私たちは本質的にオントロジーラベルについて知っているものを利用して、効率的なセマンティック解析モデルを構築します。 我々のモデルはTOPv2から派生した低リソースのベンチマークを用いて高効率である。
• 参考スコア（独自算出の注目度）: 65.51280121472146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task-oriented semantic parsing models typically have high resource requirements: to support new ontologies (i.e., intents and slots), practitioners crowdsource thousands of samples for supervised fine-tuning. Partly, this is due to the structure of de facto copy-generate parsers; these models treat ontology labels as discrete entities, relying on parallel data to extrinsically derive their meaning. In our work, we instead exploit what we intrinsically know about ontology labels; for example, the fact that SL:TIME_ZONE has the categorical type "slot" and language-based span "time zone". Using this motivation, we build our approach with offline and online stages. During preprocessing, for each ontology label, we extract its intrinsic properties into a component, and insert each component into an inventory as a cache of sorts. During training, we fine-tune a seq2seq, pre-trained transformer to map utterances and inventories to frames, parse trees comprised of utterance and ontology tokens. Our formulation encourages the model to consider ontology labels as a union of its intrinsic properties, therefore substantially bootstrapping learning in low-resource settings. Experiments show our model is highly sample efficient: using a low-resource benchmark derived from TOPv2, our inventory parser outperforms a copy-generate parser by +15 EM absolute (44% relative) when fine-tuning on 10 samples from an unseen domain.
• Abstract（参考訳）: タスク指向のセマンティックパーシングモデルは、新しいオントロジー(インテントとスロット)をサポートするために、教師付き微調整のために数千のサンプルをクラウドソースする。 これらのモデルは、オントロジラベルを独立した実体として扱い、その意味を本質的に導出するために並列データに依存している。 例えば、sl:time_zoneがカテゴリ型"slot"と言語ベースのスパン"time zone"を持っているという事実です。 このモチベーションを使って、オフラインとオンラインのステージでアプローチを構築します。 事前処理では,各オントロジーラベルに対して,その固有の特性をコンポーネントに抽出し,各コンポーネントをインベントリに挿入してソートする。 学習中、seq2seqを微調整し、発話と在庫をフレームにマッピングし、発話とオントロジーのトークンからなる木を解析する。 提案方式では,オントロジラベルを固有特性の結合として考慮し,低リソース環境での学習を実質的にブートストラップすることを推奨する。 TOPv2から得られた低リソースベンチマークを用いて、在庫パーサは、未確認領域から10個のサンプルを微調整すると、+15 EM絶対値(44%の相対値)でコピー生成パーサを上回ります。

関連論文リスト

• End-to-End Ontology Learning with Large Language Models [11.755755139228219]
  大規模言語モデル(LLM)は、オントロジー学習の様々なサブタスクを解決するために応用されている。 我々は、オントロジーの分類学的バックボーンをスクラッチから構築する汎用的でスケーラブルな方法であるOLLMによって、このギャップに対処する。 標準的なメトリクスとは対照的に、私たちのメトリクスは、グラフ間のより堅牢な構造的距離測定を定義するためにディープラーニング技術を使用します。 私たちのモデルは、arXivのような新しいドメインに効果的に適用できます。
  論文  参考訳（メタデータ） (2024-10-31T02:52:39Z)
• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• Distinguishability Calibration to In-Context Learning [31.375797763897104]
  そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。 また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
  論文  参考訳（メタデータ） (2023-02-13T09:15:00Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• MapRE: An Effective Semantic Mapping Approach for Low-resource Relation Extraction [11.821464352959454]
  低リソース関係抽出のためのラベル非依存とラベル対応のセマンティックマッピング情報の両方を考慮したフレームワークを提案する。 以上の2種類のマッピング情報を事前学習と微調整の両方に組み込むことで,モデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-09-09T09:02:23Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations [0.8203855808943658]
  本研究では,ニューラルセマンティック解析のための合成データ生成の可能性を検討する。 具体的には、まず既存のラベル付き発話からマスク付きテンプレートを抽出し、次に微調整BARTを用いて合成発話条件を生成する。 ナビゲーション領域のためのFacebook TOPデータセットを評価する際に、我々のアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2020-11-03T22:55:40Z)
• Robust Document Representations using Latent Topics and Metadata [17.306088038339336]
  本稿では,文書分類問題に対する事前学習型ニューラルネットワークモデルの微調整手法を提案する。 テキストとメタデータの両方をタスク形式でキャプチャする文書表現を生成します。 私たちのソリューションでは、メタデータを単にテキストで拡張するのではなく、明示的に組み込んでいます。
  論文  参考訳（メタデータ） (2020-10-23T21:52:38Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。