論文の概要: Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
- arxiv url: http://arxiv.org/abs/2210.11984v1
- Date: Fri, 21 Oct 2022 14:19:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 14:52:53.634417
- Title: Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
- Title(参考訳): スタック変換器を用いたshift-reduceタスク指向意味解析
- Authors: Daniel Fern\'andez-Gonz\'alez
- Abstract要約: Apple SiriやAmazon Alexaのようなタスク指向のダイアログシステムは、ユーザの発話を処理し、実行するアクションを理解するために意味解析モジュールを必要とする。
タスク指向ダイアログのためのシフト・リデュース・セマンティック・パーシングの研究を前進させる。
特に,Stack-Transformerに依存する新しいシフトリデューサを実装している。
- 参考スコア(独自算出の注目度): 0.40611352512781856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intelligent voice assistants, such as Apple Siri and Amazon Alexa, are widely
used nowadays. These task-oriented dialog systems require a semantic parsing
module in order to process user utterances and understand the action to be
performed. This semantic parsing component was initially implemented by
rule-based or statistical slot-filling approaches for processing simple
queries; however, the appearance of more complex utterances demanded the
application of shift-reduce parsers or sequence-to-sequence models. While
shift-reduce approaches initially demonstrated to be the best option, recent
efforts on sequence-to-sequence systems pushed them to become the
highest-performing method for that task. In this article, we advance the
research on shift-reduce semantic parsing for task-oriented dialog. In
particular, we implement novel shift-reduce parsers that rely on
Stack-Transformers. These allow to adequately model transition systems on the
cutting-edge Transformer architecture, notably boosting shift-reduce parsing
performance. Additionally, we adapt alternative transition systems from
constituency parsing to task-oriented parsing, and empirically prove that the
in-order algorithm substantially outperforms the commonly-used top-down
strategy. Finally, we extensively test our approach on multiple domains from
the Facebook TOP benchmark, improving over existing shift-reduce parsers and
state-of-the-art sequence-to-sequence models in both high-resource and
low-resource settings.
- Abstract(参考訳): Apple SiriやAmazon Alexaといったインテリジェントな音声アシスタントは、近年広く使われている。
これらのタスク指向対話システムは、ユーザの発話を処理し、実行すべきアクションを理解するために意味解析モジュールを必要とする。
このセマンティック構文解析コンポーネントは、単純なクエリを処理するためのルールベースあるいは統計スロットフィルングアプローチによって実装されたが、より複雑な発話の出現により、シフト・リデュース・パーサやシーケンス・ツー・シーケンスモデルの適用が求められた。
shift-reduceのアプローチは、当初は最善の選択肢であることが示されていたが、最近のシーケンシャル・ツー・シーケンス・システムへの取り組みにより、そのタスクにおいて最もパフォーマンスの高い方法になってきた。
本稿では,タスク指向ダイアログのshift-reduceセマンティクス解析に関する研究を前進させる。
特に,Stack-Transformerに依存する新しいシフトリデューサを実装している。
これにより、最先端のTransformerアーキテクチャ上のトランジションシステムを適切にモデル化することができる。
さらに,代用遷移系を選挙区解析からタスク指向解析に適応させ,その順列アルゴリズムが一般的なトップダウン戦略を大幅に上回っていることを実証的に証明する。
最後に、facebookトップベンチマークから複数のドメインに対するアプローチを広範囲にテストし、高リソース設定と低リソース設定の両方において、既存のshift-reduceパーサと最先端のシーケンス-to-sequenceモデルを改善しました。
関連論文リスト
- Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。
本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。
また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
論文 参考訳(メタデータ) (2024-03-01T07:06:57Z) - Pushdown Layers: Encoding Recursive Structure in Transformer Language
Models [86.75729087623259]
再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。
この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。
プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
論文 参考訳(メタデータ) (2023-10-29T17:27:18Z) - Temporal-aware Hierarchical Mask Classification for Video Semantic
Segmentation [62.275143240798236]
ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。
VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。
提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-09-14T20:31:06Z) - Prompt-Matched Semantic Segmentation [96.99924127527002]
本研究の目的は、事前学習した基礎モデルを、画像意味セグメンテーションの下流の様々なタスクに効果的に適応する方法を検討することである。
本稿では,タスク指向のチューニングに適応的に視覚的プロンプトを生成するとともに,基礎モデルの本来の構造を維持できる新しい階層間プロンプトマッチングフレームワークを提案する。
次に、Semantic-aware Prompt Matcherと呼ばれる軽量モジュールを導入し、2つのステージ間で階層的に補間し、各タスクに対して適切なプロンプトを学習する。
論文 参考訳(メタデータ) (2022-08-22T09:12:53Z) - Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。
次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
論文 参考訳(メタデータ) (2022-05-02T21:41:14Z) - Efficient Long Sequence Encoding via Synchronization [29.075962393432857]
階層符号化のための同期機構を提案する。
我々のアプローチはまずセグメント間でアンカートークンを識別し、元の入力シーケンスでの役割によってグループ化する。
我々のアプローチは、効率を保ちながらセグメント間のグローバル情報交換を改善することができる。
論文 参考訳(メタデータ) (2022-03-15T04:37:02Z) - Few-shot Sequence Learning with Transformers [79.87875859408955]
少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。
本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。
トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-17T12:30:38Z) - Transition-based Parsing with Stack-Transformers [32.029528327212795]
リカレントニューラルネットワークは、グローバルステートをモデル化することで、トランジッションベースのシステムの性能を大幅に改善した。
本研究では,トランスフォーマーのクロスアテンション機構の修正により,依存性と意味の両面において性能が著しく向上することを示す。
論文 参考訳(メタデータ) (2020-10-20T23:20:31Z) - Multi-level Head-wise Match and Aggregation in Transformer for Textual
Sequence Matching [87.97265483696613]
そこで本研究では,複数のレベルにおける頭部のマッチング表現を学習することで,Transformerとのシーケンスペアマッチングを新たに提案する。
実験の結果,提案手法は複数のタスクにおいて新しい最先端性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2020-01-20T20:02:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。