論文の概要: Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers

• arxiv url: http://arxiv.org/abs/2210.11984v2
• Date: Tue, 10 Sep 2024 10:48:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 00:08:16.380339
• Title: Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
• Title（参考訳）: スタック変換器を用いたシフト変換タスク指向セマンティックパーシング
• Authors: Daniel Fernández-González,
• Abstract要約: Apple SiriやAmazon Alexaのようなタスク指向の対話システムは、ユーザの発話を処理し、実行するアクションを理解するために意味解析モジュールを必要とする。 この意味解析コンポーネントは最初、単純なクエリを処理するためのルールベースまたは統計的スロット補完アプローチによって実装された。 本稿では,タスク指向対話のためのニューラル・リデューサ・セマンティック・パーシングの研究を前進させる。
• 参考スコア（独自算出の注目度）: 6.744385328015561
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intelligent voice assistants, such as Apple Siri and Amazon Alexa, are widely used nowadays. These task-oriented dialogue systems require a semantic parsing module in order to process user utterances and understand the action to be performed. This semantic parsing component was initially implemented by rule-based or statistical slot-filling approaches for processing simple queries; however, the appearance of more complex utterances demanded the application of shift-reduce parsers or sequence-to-sequence models. Although shift-reduce approaches were initially considered the most promising option, the emergence of sequence-to-sequence neural systems has propelled them to the forefront as the highest-performing method for this particular task. In this article, we advance the research on shift-reduce semantic parsing for task-oriented dialogue. We implement novel shift-reduce parsers that rely on Stack-Transformers. This framework allows to adequately model transition systems on the Transformer neural architecture, notably boosting shift-reduce parsing performance. Furthermore, our approach goes beyond the conventional top-down algorithm: we incorporate alternative bottom-up and in-order transition systems derived from constituency parsing into the realm of task-oriented parsing. We extensively test our approach on multiple domains from the Facebook TOP benchmark, improving over existing shift-reduce parsers and state-of-the-art sequence-to-sequence models in both high-resource and low-resource settings. We also empirically prove that the in-order algorithm substantially outperforms the commonly-used top-down strategy. Through the creation of innovative transition systems and harnessing the capabilities of a robust neural architecture, our study showcases the superiority of shift-reduce parsers over leading sequence-to-sequence methods on the main benchmark.
• Abstract（参考訳）: Apple SiriやAmazon Alexaといったインテリジェントな音声アシスタントは、近年広く使われている。 これらのタスク指向対話システムは、ユーザの発話を処理し、実行すべきアクションを理解するために意味解析モジュールを必要とする。 この意味解析コンポーネントは最初、単純なクエリを処理するためのルールベースまたは統計的スロット補完アプローチによって実装されたが、より複雑な発話の出現により、シフト・リデュース・パーサーやシーケンス・ツー・シーケンス・モデルの適用が要求された。 シフト・リデュース・アプローチは、当初は最も有望な選択肢と考えられていたが、シーケンス・ツー・シーケンス・ニューラル・システムの出現により、この特定のタスクの最高性能の手法として、最前線に進出した。 本稿では,タスク指向対話におけるシフト・リデュース・セマンティック・パーシングの研究を前進させる。 Stack-Transformerに依存する新しいシフト-リデュースパーサを実装した。 このフレームワークでは、Transformerのニューラルアーキテクチャ上でのトランジションシステムを適切にモデル化することが可能で、特にシフト-リデュース解析のパフォーマンスが向上する。 さらに,本手法は従来のトップダウンアルゴリズムを超越して,タスク指向構文解析の領域に選挙区解析から派生したボトムアップ・インオーダー・トランジションシステムを導入する。 我々は、Facebook TOPベンチマークから複数のドメインに対するアプローチを広範囲にテストし、既存のシフト・リデュース・パーサと、高リソースと低リソースの両方の設定における最先端のシーケンス・ツー・シーケンスモデルを改善した。 また、インオーダーアルゴリズムが一般的に使用されるトップダウン戦略を大幅に上回っていることを実証的に証明する。 革新的遷移システムの構築とロバストなニューラルアーキテクチャの能力を活用することによって,本研究では,主ベンチマーク上でのシークエンス・ツー・シーケンス方式よりも,シフト・リデュース・パーサの優位性を示す。

関連論文リスト

• MASSFormer: Mobility-Aware Spectrum Sensing using Transformer-Driven Tiered Structure [3.6194127685460553]
  モビリティを意識したトランスフォーマー駆動構造(MASSFormer)をベースとした協調センシング手法を開発した。 本稿では,モバイルプライマリユーザ(PU)とセカンダリユーザ(SU)の動的シナリオについて考察する。 提案手法は, 堅牢性を示すために, 不完全な報告チャネルのシナリオ下で試験される。
  論文  参考訳（メタデータ） (2024-09-26T05:25:25Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Hierarchical Decision Transformer [0.0]
  本稿では,実演からシーケンスモデルを学習するための階層的アルゴリズムを提案する。 高レベルメカニズムは、タスクを通して低レベルコントローラをガイドし、後者に到達するためのサブゴールを選択する。 提案手法をOpenAIGym, D4RL, RoboMimicベンチマークの複数のタスクで検証する。
  論文  参考訳（メタデータ） (2022-09-21T15:48:40Z)
• Efficient Long Sequence Encoding via Synchronization [29.075962393432857]
  階層符号化のための同期機構を提案する。 我々のアプローチはまずセグメント間でアンカートークンを識別し、元の入力シーケンスでの役割によってグループ化する。 我々のアプローチは、効率を保ちながらセグメント間のグローバル情報交換を改善することができる。
  論文  参考訳（メタデータ） (2022-03-15T04:37:02Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Dependency Parsing with Bottom-up Hierarchical Pointer Networks [0.7412445894287709]
  左から右へ、トップダウンのトランジションベースのアルゴリズムは、依存性解析を行う上で最も正確なアプローチである。 文を右から左の順に解析するアプローチと、外部から実行する変種という2つの新しい遷移ベースの代替案を提案する。 提案したニューラルアーキテクチャを、さまざまな言語で異なるアルゴリズムで実証的にテストし、そのすべてにおいて、元のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-05-20T09:10:42Z)
• Few-shot Sequence Learning with Transformers [79.87875859408955]
  少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。 本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。 トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-17T12:30:38Z)
• Transition-based Parsing with Stack-Transformers [32.029528327212795]
  リカレントニューラルネットワークは、グローバルステートをモデル化することで、トランジッションベースのシステムの性能を大幅に改善した。 本研究では,トランスフォーマーのクロスアテンション機構の修正により,依存性と意味の両面において性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2020-10-20T23:20:31Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Multi-level Head-wise Match and Aggregation in Transformer for Textual Sequence Matching [87.97265483696613]
  そこで本研究では,複数のレベルにおける頭部のマッチング表現を学習することで,Transformerとのシーケンスペアマッチングを新たに提案する。 実験の結果,提案手法は複数のタスクにおいて新しい最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2020-01-20T20:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。