論文の概要: Improving Top-K Decoding for Non-Autoregressive Semantic Parsing via Intent Conditioning

• arxiv url: http://arxiv.org/abs/2204.06748v1
• Date: Thu, 14 Apr 2022 04:06:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 12:29:03.092905
• Title: Improving Top-K Decoding for Non-Autoregressive Semantic Parsing via Intent Conditioning
• Title（参考訳）: Intent Conditioningによる非自己回帰的意味解析のためのトップKデコーディングの改善
• Authors: Geunseob Oh, Rahul Goel, Chris Hidey, Shachi Paul, Aditya Gupta, Pararth Shah, Rushin Shah
• Abstract要約: 本稿では,デコーダに意図条件を導入する新しいNARセマンティクスを提案する。 最上位のインテントがパースの構文とセマンティクスを制御しているため、インテント条件付けによりビームサーチをよりよく制御できる。 対話型SPデータセットであるTOPとTOPv2で提案したNARを評価する。
• 参考スコア（独自算出の注目度）: 11.307865386100993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic parsing (SP) is a core component of modern virtual assistants like Google Assistant and Amazon Alexa. While sequence-to-sequence-based auto-regressive (AR) approaches are common for conversational semantic parsing, recent studies employ non-autoregressive (NAR) decoders and reduce inference latency while maintaining competitive parsing quality. However, a major drawback of NAR decoders is the difficulty of generating top-k (i.e., k-best) outputs with approaches such as beam search. To address this challenge, we propose a novel NAR semantic parser that introduces intent conditioning on the decoder. Inspired by the traditional intent and slot tagging parsers, we decouple the top-level intent prediction from the rest of a parse. As the top-level intent largely governs the syntax and semantics of a parse, the intent conditioning allows the model to better control beam search and improves the quality and diversity of top-k outputs. We introduce a hybrid teacher-forcing approach to avoid training and inference mismatch. We evaluate the proposed NAR on conversational SP datasets, TOP & TOPv2. Like the existing NAR models, we maintain the O(1) decoding time complexity while generating more diverse outputs and improving the top-3 exact match (EM) by 2.4 points. In comparison with AR models, our model speeds up beam search inference by 6.7 times on CPU with competitive top-k EM.
• Abstract（参考訳）: Semantic parsing (SP)は、Google AssistantやAmazon Alexaのような現代の仮想アシスタントの中核的なコンポーネントである。 sequence-to-sequence-based auto-regressive (ar) アプローチは対話的意味解析では一般的であるが、近年の研究では非自己回帰型(nar)デコーダを採用し、競合的パース品質を維持しつつ推論レイテンシを削減する。 しかし、NARデコーダの大きな欠点は、ビームサーチのようなアプローチでトップk(すなわちk-best)出力を生成することの難しさである。 この課題に対処するために、デコーダにインテント条件を導入する新しいNARセマンティックパーサを提案する。 従来のインテントとスロットタギングパーサーにインスパイアされた私たちは、トップレベルのインテント予測を他のパースから切り離します。 トップレベルのインテントがパースの構文とセマンティクスを主に支配しているため、インテントコンディショニングにより、モデルがビームサーチをより良く制御でき、トップk出力の品質と多様性が向上する。 学習と推論ミスマッチを避けるために,ハイブリッド型教員強制アプローチを導入する。 提案する対話型spデータセットtop & topv2のnarを評価する。 既存のnarモデルと同様に、より多様な出力を生成しながらo(1)復号時間の複雑さを維持し、トップ3完全一致(em)を2.4ポイント改善する。 ARモデルと比較して、我々のモデルは、競合するトップkEMでCPU上でのビームサーチを6.7倍高速化する。

関連論文リスト

• Context Perception Parallel Decoder for Scene Text Recognition [52.620841341333524]
  シーンテキスト認識手法は高い精度と高速な推論速度を達成するのに苦労している。 本稿では、STRにおけるARデコーディングの実証的研究を行い、ARデコーダが言語文脈をモデル化するだけでなく、視覚的文脈知覚のガイダンスも提供することを明らかにする。 我々は一連のCPPDモデルを構築し、提案したモジュールを既存のSTRデコーダにプラグインする。英語と中国語のベンチマーク実験により、CPPDモデルはARベースモデルよりも約8倍高速に動作し、高い競争精度を達成できることを示した。
  論文  参考訳（メタデータ） (2023-07-23T09:04:13Z)
• Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
  本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Helping the Weak Makes You Strong: Simple Multi-Task Learning Improves Non-Autoregressive Translators [35.939982651768666]
  NARモデルの確率フレームワークは、ターゲットシーケンスに対する条件付き独立性仮定を必要とする。 本稿では,より情報的な学習信号を提供するための,シンプルでモデルに依存しないマルチタスク学習フレームワークを提案する。 我々の手法は、追加のデコードオーバーヘッドを追加することなく、複数のNARベースラインの精度を一貫して改善することができる。
  論文  参考訳（メタデータ） (2022-11-11T09:10:14Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation [41.51966652141165]
  推論中に並列符号化が可能なモデルベースプルーニング法を提案する。 実験により,我々のFast-R2D2は,下流分類タスクにおける文法誘導および競合結果において,性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-03-01T07:54:44Z)
• Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding [0.0]
  本稿では,Seq2seqモデルをトレーニングおよび使用するための新しい手順であるRecursive Decodingを提案する。 1回のパスで出力シーケンス全体を生成するのではなく、モデルは一度に1つのトークンを予測するように訓練される。 RDは、gSCANの2つの以前に無視された一般化タスクに対して劇的な改善をもたらす。
  論文  参考訳（メタデータ） (2022-01-27T19:13:42Z)
• Non-autoregressive End-to-end Speech Translation with Parallel Autoregressive Rescoring [83.32560748324667]
  本稿では,非自己回帰モデルに基づく効率的なエンドツーエンド音声翻訳(E2E-ST)フレームワークについて述べる。 我々は,共有エンコーダ上にNARデコーダと補助的な浅層ARデコーダを備えた,Orthrosと呼ばれる統一NAR E2E-STフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-09T16:50:16Z)
• Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder [64.55176104620848]
  NARと自己回帰(AR)デコーダの両方を共有音声エンコーダで共同で訓練する新しいNAR E2E-STフレームワークOrthrosを提案する。 後者は、前者から生成される様々な長の候補間のより良い翻訳を選択するために使用され、これは、無視できるオーバーヘッドを持つ大きな長のビームの有効性を劇的に向上させる。 4つのベンチマーク実験により、競合翻訳品質を維持しつつ、推論速度を向上させる手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-10-25T06:35:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。