論文の概要: Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
- arxiv url: http://arxiv.org/abs/2210.11984v1
- Date: Fri, 21 Oct 2022 14:19:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 14:52:53.634417
- Title: Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
- Title（参考訳）: スタック変換器を用いたshift-reduceタスク指向意味解析
- Authors: Daniel Fern\'andez-Gonz\'alez
- Abstract要約: Apple SiriやAmazon Alexaのようなタスク指向のダイアログシステムは、ユーザの発話を処理し、実行するアクションを理解するために意味解析モジュールを必要とする。
タスク指向ダイアログのためのシフト・リデュース・セマンティック・パーシングの研究を前進させる。
特に,Stack-Transformerに依存する新しいシフトリデューサを実装している。
- 参考スコア（独自算出の注目度）: 0.40611352512781856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intelligent voice assistants, such as Apple Siri and Amazon Alexa, are widely
used nowadays. These task-oriented dialog systems require a semantic parsing
module in order to process user utterances and understand the action to be
performed. This semantic parsing component was initially implemented by
rule-based or statistical slot-filling approaches for processing simple
queries; however, the appearance of more complex utterances demanded the
application of shift-reduce parsers or sequence-to-sequence models. While
shift-reduce approaches initially demonstrated to be the best option, recent
efforts on sequence-to-sequence systems pushed them to become the
highest-performing method for that task. In this article, we advance the
research on shift-reduce semantic parsing for task-oriented dialog. In
particular, we implement novel shift-reduce parsers that rely on
Stack-Transformers. These allow to adequately model transition systems on the
cutting-edge Transformer architecture, notably boosting shift-reduce parsing
performance. Additionally, we adapt alternative transition systems from
constituency parsing to task-oriented parsing, and empirically prove that the
in-order algorithm substantially outperforms the commonly-used top-down
strategy. Finally, we extensively test our approach on multiple domains from
the Facebook TOP benchmark, improving over existing shift-reduce parsers and
state-of-the-art sequence-to-sequence models in both high-resource and
low-resource settings.
- Abstract（参考訳）: Apple SiriやAmazon Alexaといったインテリジェントな音声アシスタントは、近年広く使われている。
これらのタスク指向対話システムは、ユーザの発話を処理し、実行すべきアクションを理解するために意味解析モジュールを必要とする。
このセマンティック構文解析コンポーネントは、単純なクエリを処理するためのルールベースあるいは統計スロットフィルングアプローチによって実装されたが、より複雑な発話の出現により、シフト・リデュース・パーサやシーケンス・ツー・シーケンスモデルの適用が求められた。
shift-reduceのアプローチは、当初は最善の選択肢であることが示されていたが、最近のシーケンシャル・ツー・シーケンス・システムへの取り組みにより、そのタスクにおいて最もパフォーマンスの高い方法になってきた。
本稿では,タスク指向ダイアログのshift-reduceセマンティクス解析に関する研究を前進させる。
特に,Stack-Transformerに依存する新しいシフトリデューサを実装している。
これにより、最先端のTransformerアーキテクチャ上のトランジションシステムを適切にモデル化することができる。
さらに,代用遷移系を選挙区解析からタスク指向解析に適応させ,その順列アルゴリズムが一般的なトップダウン戦略を大幅に上回っていることを実証的に証明する。
最後に、facebookトップベンチマークから複数のドメインに対するアプローチを広範囲にテストし、高リソース設定と低リソース設定の両方において、既存のshift-reduceパーサと最先端のシーケンス-to-sequenceモデルを改善しました。
関連論文リスト
- MASSFormer: Mobility-Aware Spectrum Sensing using Transformer-Driven
Tiered Structure [3.6194127685460553]
モビリティを意識したトランスフォーマー駆動構造(MASSFormer)をベースとした協調センシング手法を開発した。
本稿では,モバイルプライマリユーザ(PU)とセカンダリユーザ(SU)の動的シナリオについて考察する。
提案手法は, 堅牢性を示すために, 不完全な報告チャネルのシナリオ下で試験される。
論文 参考訳（メタデータ） (2024-09-26T05:25:25Z) - Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。
特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。
早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文 参考訳（メタデータ） (2023-06-20T03:00:22Z) - Real-World Compositional Generalization with Disentangled
Sequence-to-Sequence Learning [81.24269148865555]
最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。
このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。
具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
論文 参考訳（メタデータ） (2022-12-12T15:40:30Z) - Hierarchical Decision Transformer [0.0]
本稿では,実演からシーケンスモデルを学習するための階層的アルゴリズムを提案する。
高レベルメカニズムは、タスクを通して低レベルコントローラをガイドし、後者に到達するためのサブゴールを選択する。
提案手法をOpenAIGym, D4RL, RoboMimicベンチマークの複数のタスクで検証する。
論文 参考訳（メタデータ） (2022-09-21T15:48:40Z) - Efficient Long Sequence Encoding via Synchronization [29.075962393432857]
階層符号化のための同期機構を提案する。
我々のアプローチはまずセグメント間でアンカートークンを識別し、元の入力シーケンスでの役割によってグループ化する。
我々のアプローチは、効率を保ちながらセグメント間のグローバル情報交換を改善することができる。
論文 参考訳（メタデータ） (2022-03-15T04:37:02Z) - Structured Reordering for Modeling Latent Alignments in Sequence
Transduction [86.94309120789396]
本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。
結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
論文 参考訳（メタデータ） (2021-06-06T21:53:54Z) - Dependency Parsing with Bottom-up Hierarchical Pointer Networks [0.7412445894287709]
左から右へ、トップダウンのトランジションベースのアルゴリズムは、依存性解析を行う上で最も正確なアプローチである。
文を右から左の順に解析するアプローチと、外部から実行する変種という2つの新しい遷移ベースの代替案を提案する。
提案したニューラルアーキテクチャを、さまざまな言語で異なるアルゴリズムで実証的にテストし、そのすべてにおいて、元のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-05-20T09:10:42Z) - Few-shot Sequence Learning with Transformers [79.87875859408955]
少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。
本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。
トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-17T12:30:38Z) - Transition-based Parsing with Stack-Transformers [32.029528327212795]
リカレントニューラルネットワークは、グローバルステートをモデル化することで、トランジッションベースのシステムの性能を大幅に改善した。
本研究では,トランスフォーマーのクロスアテンション機構の修正により,依存性と意味の両面において性能が著しく向上することを示す。
論文 参考訳（メタデータ） (2020-10-20T23:20:31Z) - Neural Function Modules with Sparse Arguments: A Dynamic Approach to
Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。
トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。
私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文 参考訳（メタデータ） (2020-10-15T20:43:17Z) - Multi-level Head-wise Match and Aggregation in Transformer for Textual
Sequence Matching [87.97265483696613]
そこで本研究では,複数のレベルにおける頭部のマッチング表現を学習することで,Transformerとのシーケンスペアマッチングを新たに提案する。
実験の結果,提案手法は複数のタスクにおいて新しい最先端性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2020-01-20T20:02:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。