論文の概要: Transition-based Parsing with Stack-Transformers

• arxiv url: http://arxiv.org/abs/2010.10669v1
• Date: Tue, 20 Oct 2020 23:20:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 07:04:23.830674
• Title: Transition-based Parsing with Stack-Transformers
• Title（参考訳）: スタック変換器を用いた遷移解析
• Authors: Ramon Fernandez Astudillo, Miguel Ballesteros, Tahira Naseem, Austin Blodgett, Radu Florian
• Abstract要約: リカレントニューラルネットワークは、グローバルステートをモデル化することで、トランジッションベースのシステムの性能を大幅に改善した。 本研究では,トランスフォーマーのクロスアテンション機構の修正により,依存性と意味の両面において性能が著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 32.029528327212795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling the parser state is key to good performance in transition-based parsing. Recurrent Neural Networks considerably improved the performance of transition-based systems by modelling the global state, e.g. stack-LSTM parsers, or local state modeling of contextualized features, e.g. Bi-LSTM parsers. Given the success of Transformer architectures in recent parsing systems, this work explores modifications of the sequence-to-sequence Transformer architecture to model either global or local parser states in transition-based parsing. We show that modifications of the cross attention mechanism of the Transformer considerably strengthen performance both on dependency and Abstract Meaning Representation (AMR) parsing tasks, particularly for smaller models or limited training data.
• Abstract（参考訳）: パーサ状態のモデリングは、トランジションベースのパーサのパフォーマンス向上の鍵となる。 リカレントニューラルネットワークは、スタック-LSTMパーサなどのグローバル状態や、Bi-LSTMパーサのようなコンテキスト化された機能のローカル状態モデリングをモデル化することで、トランジションベースのシステムの性能を大幅に改善した。 近年の解析システムにおけるTransformerアーキテクチャの成功を踏まえ、この研究は、トランジッションベースの解析において、グローバルまたはローカルのパーサ状態をモデル化するためのSequence-to-Sequence Transformerアーキテクチャの変更について検討する。 トランスのクロスアテンション機構の修正は,依存性と抽象的意味表現 (amr) のパースタスク,特に小型モデルや限られたトレーニングデータにおいて,性能が大幅に向上することを示す。

関連論文リスト

• Dependency Transformer Grammars: Integrating Dependency Structures into Transformer Language Models [42.46104516313823]
  依存性変換文法(Dependency Transformer Grammars、DTG)は、依存関係ベースの帰納バイアスを持つトランスフォーマー言語モデルの新しいクラスである。 DTGは制約された注意パターンで依存性遷移システムをシミュレートする。 Transformer言語モデルベースラインと同等のパープレキシティを維持しながら、より優れた一般化を実現する。
  論文  参考訳（メタデータ） (2024-07-24T16:38:38Z)
• Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
  本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
  論文  参考訳（メタデータ） (2024-06-17T07:24:38Z)
• Repeat After Me: Transformers are Better than State Space Models at Copying [53.47717661441142]
  一般化された状態空間モデルは、推論時間効率の観点からは有望であるが、入力コンテキストからのコピーを必要とするタスクのトランスフォーマーモデルと比較して限定的であることを示す。
  論文  参考訳（メタデータ） (2024-02-01T21:44:11Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers [6.744385328015561]
  Apple SiriやAmazon Alexaのようなタスク指向の対話システムは、ユーザの発話を処理し、実行するアクションを理解するために意味解析モジュールを必要とする。 この意味解析コンポーネントは最初、単純なクエリを処理するためのルールベースまたは統計的スロット補完アプローチによって実装された。 本稿では,タスク指向対話のためのニューラル・リデューサ・セマンティック・パーシングの研究を前進させる。
  論文  参考訳（メタデータ） (2022-10-21T14:19:47Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations [51.77000472945441]
  Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。 実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。 本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:56:44Z)
• Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing [20.67024416678313]
  我々は、一般的な事前訓練されたシーケンス・ツー・シーケンス言語モデルと構造対応のトランジション・ベース・アプローチの統合について検討する。 構造化された微調整のための事前学習言語モデルをよりよく活用するために,単純化されたトランジションセットを提案する。 提案した解析アーキテクチャは,従来の遷移に基づくアプローチの望ましい特性を維持しつつ,グラフの再分類を必要とせず,AMR 2.0の最先端技術に到達していることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:36:31Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Optimizing Inference Performance of Transformers on CPUs [0.0]
  トランスフォーマーベースのモデル(BERTなど)は、検索、翻訳、質問応答など、多くの重要なWebサービスを支えている。 本稿では,cpu上でのトランスフォーマモデル参照のスケーラビリティと性能に関する実証分析を行う。
  論文  参考訳（メタデータ） (2021-02-12T17:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。