論文の概要: Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog

• arxiv url: http://arxiv.org/abs/2104.04923v1
• Date: Sun, 11 Apr 2021 05:44:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:37:58.977387
• Title: Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog
• Title（参考訳）: 合成タスク指向ダイアログのための非自己回帰的意味解析
• Authors: Arun Babu, Akshat Shrivastava, Armen Aghajanyan, Ahmed Aly, Angela Fan and Marjan Ghazvininejad
• Abstract要約: 効率的なseq2seqモデルアーキテクチャを用いて意味解析木を予測する非回帰的手法を提案する。 非自己回帰予測と畳み込みニューラルネットワークを組み合わせることで、大きな遅延ゲインとパラメータサイズ削減を実現する。
• 参考スコア（独自算出の注目度）: 22.442123799917074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic parsing using sequence-to-sequence models allows parsing of deeper representations compared to traditional word tagging based models. In spite of these advantages, widespread adoption of these models for real-time conversational use cases has been stymied by higher compute requirements and thus higher latency. In this work, we propose a non-autoregressive approach to predict semantic parse trees with an efficient seq2seq model architecture. By combining non-autoregressive prediction with convolutional neural networks, we achieve significant latency gains and parameter size reduction compared to traditional RNN models. Our novel architecture achieves up to an 81% reduction in latency on TOP dataset and retains competitive performance to non-pretrained models on three different semantic parsing datasets. Our code is available at https://github.com/facebookresearch/pytext
• Abstract（参考訳）: シーケンス・ツー・シーケンスモデルを用いた意味解析は、従来の単語タグ付けモデルと比較して深い表現のパースを可能にする。 これらの利点にもかかわらず、リアルタイムの会話型ユースケースにおけるこれらのモデルの広範な採用は、高い計算要求と高いレイテンシによって抑制されている。 本稿では,効率的なseq2seqモデルアーキテクチャを用いて意味解析木を予測する非回帰的手法を提案する。 非自己回帰予測と畳み込みニューラルネットワークを組み合わせることで、従来のRNNモデルと比較して大きなレイテンシゲインとパラメータサイズ削減を実現している。 我々の新しいアーキテクチャはTOPデータセットのレイテンシを最大81%削減し、3つの異なるセマンティック解析データセット上の非事前学習モデルに対する競合性能を維持する。 私たちのコードはhttps://github.com/facebookresearch/pytextで利用可能です。

関連論文リスト

• Loop Neural Networks for Parameter Sharing [1.1049608786515839]
  本稿では,モデルサイズを増大させることなく,より長い計算時間を活用することにより,より優れた性能を実現するループニューラルネットワークを提案する。 提案手法では,残差接続を持つモデルのサブセットを反復的にループすることで,入力を複数回再検討する。 本手法の有効性を,GPT-2とループモデルの比較実験により実証し,類似したパラメータ数を維持しつつ,言語モデリングタスクの性能向上を示す。
  論文  参考訳（メタデータ） (2024-09-21T17:07:42Z)
• Inferring Data Preconditions from Deep Learning Models for Trustworthy Prediction in Deployment [25.527665632625627]
  デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。 従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。 本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T03:47:18Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• Explainable Parallel RCNN with Novel Feature Representation for Time Series Forecasting [0.0]
  時系列予測はデータサイエンスにおける根本的な課題である。 RNNとCNNを組み合わせた並列ディープラーニングフレームワークを開発した。 3つのデータセットに対する大規模な実験により,本手法の有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-05-08T17:20:13Z)
• Tiny Neural Models for Seq2Seq [0.0]
  pQRNN-MAttと呼ばれるプロジェクションベースエンコーダデコーダモデルを提案する。 その結果得られた量子化モデルのサイズは3.5MB未満であり、デバイス上のレイテンシクリティカルなアプリケーションに適している。 本稿では,多言語意味解析データセットであるMTOPにおいて,平均モデル性能が,85倍の精度で事前学習した埋め込みを用いたLSTMベースのSeq2seqモデルを上回ることを示す。
  論文  参考訳（メタデータ） (2021-08-07T00:39:42Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)
• Revisiting Simple Neural Probabilistic Language Models [27.957834093475686]
  本稿では,Bengio2003ANPの神経確率言語モデル(NPLM)を再検討する。 現代のハードウェアにスケールアップすると、このモデルは単語レベルの言語モデルのベンチマークで期待以上にパフォーマンスが向上する。 この結果に触発され、最初の自己保持層をNPLMの局所連結層に置き換えることでトランスフォーマーを変更した。
  論文  参考訳（メタデータ） (2021-04-08T02:18:47Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。