論文の概要: Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing

• arxiv url: http://arxiv.org/abs/2104.07275v1
• Date: Thu, 15 Apr 2021 07:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:03:23.762208
• Title: Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing
• Title（参考訳）: Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing (特集:情報ネットワーク)
• Authors: Akshat Shrivastava, Pierce Chuang, Arun Babu, Shrey Desai, Abhinav Arora, Alexander Zotov, Ahmed Aly
• Abstract要約: seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、フレームのセマンティックな特性を小さな不正確さでも変更するため、長さ予測によってネックリングされる。 本研究では,テキスト生成からスパン予測へデコードタスクをシフトする非自己回帰型スパンポインタネットワークを提案する。
• 参考スコア（独自算出の注目度）: 55.97957664897004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An effective recipe for building seq2seq, non-autoregressive, task-oriented parsers to map utterances to semantic frames proceeds in three steps: encoding an utterance $x$, predicting a frame's length |y|, and decoding a |y|-sized frame with utterance and ontology tokens. Though empirically strong, these models are typically bottle necked by length prediction, as even small inaccuracies change the syntactic and semantic characteristics of resulting frames. In our work, we propose span pointer networks, non-autoregressive parsers which shift the decoding task from text generation to span prediction; that is, when imputing utterance spans into frame slots, our model produces endpoints (e.g., [i, j]) as opposed to text (e.g., "6pm"). This natural quantization of the output space reduces the variability of gold frames, therefore improving length prediction and, ultimately, exact match. Furthermore, length prediction is now responsible for frame syntax and the decoder is responsible for frame semantics, resulting in a coarse-to-fine model. We evaluate our approach on several task-oriented semantic parsing datasets. Notably, we bridge the quality gap between non-autogressive and autoregressive parsers, achieving 87 EM on TOPv2 (Chen et al. 2020). Furthermore,due to our more consistent gold frames, we show strong improvements in model generalization in both cross-domain and cross-lingual transfer in low-resource settings. Finally, due to our diminished output vocabulary, we observe 70% reduction in latency and 83% reduction in memory at beam size 5 compared to prior non-autoregressive parsers.
• Abstract（参考訳）: seq2seq, non-autoregressive, task-oriented parser をセマンティックフレームにマッピングするための効果的なレシピは、発話を$x$で符号化し、フレームの長さ |y| を予測し、発話トークンとオントロジートークンで |y| サイズのフレームをデコードする、3つのステップで進行する。 経験的に強いが、これらのモデルは典型的には長さ予測によってネックリングされ、小さな不正確さでさえ、結果として生じるフレームの構文的および意味的特性を変化させる。 本研究では,テキスト生成からスパン予測へデコードタスクをシフトするスパンポインターネットワーク,非自己回帰解析器を提案する。つまり,発話をフレームスロットに分散させると,テキスト(例:「6pm」)ではなくエンドポイント(例: [i, j])を生成する。 この出力空間の自然な量子化は金のフレームの変動性を減少させ、長さの予測を改善し、最終的に正確に一致する。 さらに、長さ予測がフレーム構文に責任を負い、デコーダがフレームセマンティクスに責任を持ち、粗大なモデルが生まれる。 いくつかのタスク指向のセマンティックパーシングデータセットに対するアプローチを評価する。 特に,TOPv2(Chen et al.)上で87EMを達成した非自己回帰パーサと自己回帰パーサ間の品質ギャップを橋渡しする。 2020). さらに、より一貫した金フレームにより、低リソース環境におけるクロスドメインおよびクロスランガル転送におけるモデル一般化の強力な改善を示す。 最後に, 出力語彙の低下により, 従来の非自己回帰型パーサーと比較して, 遅延の70%低減とビームサイズ5でのメモリの83%削減が観察された。

関連論文リスト

• Object Recognition as Next Token Prediction [99.40793702627396]
  オブジェクト認識を次のトークン予測として提案する。 その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
  論文  参考訳（メタデータ） (2023-12-04T18:58:40Z)
• AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
  視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。 本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。 提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
  論文  参考訳（メタデータ） (2023-11-02T12:48:43Z)
• TVTSv2: Learning Out-of-the-box Spatiotemporal Visual Representations at Scale [59.01246141215051]
  言語指導の観点から,その劣化要因を分析した。 本稿では,テキストエンコーダの一般化能力を維持するために,教師なし事前学習戦略を提案する。 最大10億のパラメータを持つTVTSv2と呼ばれる一連のモデルを作成します。
  論文  参考訳（メタデータ） (2023-05-23T15:44:56Z)
• Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
  シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。 この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。 私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
  論文  参考訳（メタデータ） (2022-02-02T08:00:21Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)
• AMR Parsing with Action-Pointer Transformer [18.382148821100152]
  文に対するハードアテンテンションとターゲット側アクションポインタ機構を組み合わせたトランジションベースのシステムを提案する。 我々のアクションポインターアプローチは表現性を高め、最高の遷移ベースAMRに対して大きな利益を得ることを示す。
  論文  参考訳（メタデータ） (2021-04-29T22:01:41Z)
• Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog [22.442123799917074]
  効率的なseq2seqモデルアーキテクチャを用いて意味解析木を予測する非回帰的手法を提案する。 非自己回帰予測と畳み込みニューラルネットワークを組み合わせることで、大きな遅延ゲインとパラメータサイズ削減を実現する。
  論文  参考訳（メタデータ） (2021-04-11T05:44:35Z)
• Frame-To-Frame Consistent Semantic Segmentation [2.538209532048867]
  我々は、ビデオ内の連続したフレームを通して特徴を伝播する畳み込みニューラルネットワーク(CNN)を訓練する。 その結果,時間情報を追加することで,フレーム間の一貫性とより正確な画像理解が得られることがわかった。
  論文  参考訳（メタデータ） (2020-08-03T15:28:40Z)
• Parsing as Pretraining [13.03764728768944]
  まず、コンストラクタと依存性解析をシーケンスタグとしてキャストする。 次に、単一のフィードフォワード層を使用して、ワードベクトルを線形化された木をエンコードするラベルに直接マッピングする。
  論文  参考訳（メタデータ） (2020-02-05T08:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。