論文の概要: Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
- arxiv url: http://arxiv.org/abs/2210.11984v2
- Date: Tue, 10 Sep 2024 10:48:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 00:08:16.380339
- Title: Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
- Title(参考訳): スタック変換器を用いたシフト変換タスク指向セマンティックパーシング
- Authors: Daniel Fernández-González,
- Abstract要約: Apple SiriやAmazon Alexaのようなタスク指向の対話システムは、ユーザの発話を処理し、実行するアクションを理解するために意味解析モジュールを必要とする。
この意味解析コンポーネントは最初、単純なクエリを処理するためのルールベースまたは統計的スロット補完アプローチによって実装された。
本稿では,タスク指向対話のためのニューラル・リデューサ・セマンティック・パーシングの研究を前進させる。
- 参考スコア(独自算出の注目度): 6.744385328015561
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intelligent voice assistants, such as Apple Siri and Amazon Alexa, are widely used nowadays. These task-oriented dialogue systems require a semantic parsing module in order to process user utterances and understand the action to be performed. This semantic parsing component was initially implemented by rule-based or statistical slot-filling approaches for processing simple queries; however, the appearance of more complex utterances demanded the application of shift-reduce parsers or sequence-to-sequence models. Although shift-reduce approaches were initially considered the most promising option, the emergence of sequence-to-sequence neural systems has propelled them to the forefront as the highest-performing method for this particular task. In this article, we advance the research on shift-reduce semantic parsing for task-oriented dialogue. We implement novel shift-reduce parsers that rely on Stack-Transformers. This framework allows to adequately model transition systems on the Transformer neural architecture, notably boosting shift-reduce parsing performance. Furthermore, our approach goes beyond the conventional top-down algorithm: we incorporate alternative bottom-up and in-order transition systems derived from constituency parsing into the realm of task-oriented parsing. We extensively test our approach on multiple domains from the Facebook TOP benchmark, improving over existing shift-reduce parsers and state-of-the-art sequence-to-sequence models in both high-resource and low-resource settings. We also empirically prove that the in-order algorithm substantially outperforms the commonly-used top-down strategy. Through the creation of innovative transition systems and harnessing the capabilities of a robust neural architecture, our study showcases the superiority of shift-reduce parsers over leading sequence-to-sequence methods on the main benchmark.
- Abstract(参考訳): Apple SiriやAmazon Alexaといったインテリジェントな音声アシスタントは、近年広く使われている。
これらのタスク指向対話システムは、ユーザの発話を処理し、実行すべきアクションを理解するために意味解析モジュールを必要とする。
この意味解析コンポーネントは最初、単純なクエリを処理するためのルールベースまたは統計的スロット補完アプローチによって実装されたが、より複雑な発話の出現により、シフト・リデュース・パーサーやシーケンス・ツー・シーケンス・モデルの適用が要求された。
シフト・リデュース・アプローチは、当初は最も有望な選択肢と考えられていたが、シーケンス・ツー・シーケンス・ニューラル・システムの出現により、この特定のタスクの最高性能の手法として、最前線に進出した。
本稿では,タスク指向対話におけるシフト・リデュース・セマンティック・パーシングの研究を前進させる。
Stack-Transformerに依存する新しいシフト-リデュースパーサを実装した。
このフレームワークでは、Transformerのニューラルアーキテクチャ上でのトランジションシステムを適切にモデル化することが可能で、特にシフト-リデュース解析のパフォーマンスが向上する。
さらに,本手法は従来のトップダウンアルゴリズムを超越して,タスク指向構文解析の領域に選挙区解析から派生したボトムアップ・インオーダー・トランジションシステムを導入する。
我々は、Facebook TOPベンチマークから複数のドメインに対するアプローチを広範囲にテストし、既存のシフト・リデュース・パーサと、高リソースと低リソースの両方の設定における最先端のシーケンス・ツー・シーケンスモデルを改善した。
また、インオーダーアルゴリズムが一般的に使用されるトップダウン戦略を大幅に上回っていることを実証的に証明する。
革新的遷移システムの構築とロバストなニューラルアーキテクチャの能力を活用することによって,本研究では,主ベンチマーク上でのシークエンス・ツー・シーケンス方式よりも,シフト・リデュース・パーサの優位性を示す。
関連論文リスト
- Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。
本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。
また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
論文 参考訳(メタデータ) (2024-03-01T07:06:57Z) - Pushdown Layers: Encoding Recursive Structure in Transformer Language
Models [86.75729087623259]
再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。
この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。
プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
論文 参考訳(メタデータ) (2023-10-29T17:27:18Z) - Temporal-aware Hierarchical Mask Classification for Video Semantic
Segmentation [62.275143240798236]
ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。
VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。
提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-09-14T20:31:06Z) - Prompt-Matched Semantic Segmentation [96.99924127527002]
本研究の目的は、事前学習した基礎モデルを、画像意味セグメンテーションの下流の様々なタスクに効果的に適応する方法を検討することである。
本稿では,タスク指向のチューニングに適応的に視覚的プロンプトを生成するとともに,基礎モデルの本来の構造を維持できる新しい階層間プロンプトマッチングフレームワークを提案する。
次に、Semantic-aware Prompt Matcherと呼ばれる軽量モジュールを導入し、2つのステージ間で階層的に補間し、各タスクに対して適切なプロンプトを学習する。
論文 参考訳(メタデータ) (2022-08-22T09:12:53Z) - Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。
次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
論文 参考訳(メタデータ) (2022-05-02T21:41:14Z) - Efficient Long Sequence Encoding via Synchronization [29.075962393432857]
階層符号化のための同期機構を提案する。
我々のアプローチはまずセグメント間でアンカートークンを識別し、元の入力シーケンスでの役割によってグループ化する。
我々のアプローチは、効率を保ちながらセグメント間のグローバル情報交換を改善することができる。
論文 参考訳(メタデータ) (2022-03-15T04:37:02Z) - Few-shot Sequence Learning with Transformers [79.87875859408955]
少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。
本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。
トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-17T12:30:38Z) - Transition-based Parsing with Stack-Transformers [32.029528327212795]
リカレントニューラルネットワークは、グローバルステートをモデル化することで、トランジッションベースのシステムの性能を大幅に改善した。
本研究では,トランスフォーマーのクロスアテンション機構の修正により,依存性と意味の両面において性能が著しく向上することを示す。
論文 参考訳(メタデータ) (2020-10-20T23:20:31Z) - Multi-level Head-wise Match and Aggregation in Transformer for Textual
Sequence Matching [87.97265483696613]
そこで本研究では,複数のレベルにおける頭部のマッチング表現を学習することで,Transformerとのシーケンスペアマッチングを新たに提案する。
実験の結果,提案手法は複数のタスクにおいて新しい最先端性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2020-01-20T20:02:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。