論文の概要: Stack Attention: Improving the Ability of Transformers to Model Hierarchical Patterns

• arxiv url: http://arxiv.org/abs/2310.01749v2
• Date: Wed, 24 Jan 2024 16:28:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 17:18:10.765186
• Title: Stack Attention: Improving the Ability of Transformers to Model Hierarchical Patterns
• Title（参考訳）: スタック注意: 階層パターンをモデル化するトランスフォーマーの能力向上
• Authors: Brian DuSell and David Chiang
• Abstract要約: スタックアテンションは標準的なアテンションと類似しているが,構文的な監督を必要としない構文の潜在モデルで示している。 本稿では,制約パラメータ予算の下での自然言語モデリングにおいてスタックアテンションがより効果的であることを示し,機械翻訳の結果を含む。
• 参考スコア（独自算出の注目度）: 17.144569385099462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention, specifically scaled dot-product attention, has proven effective for natural language, but it does not have a mechanism for handling hierarchical patterns of arbitrary nesting depth, which limits its ability to recognize certain syntactic structures. To address this shortcoming, we propose stack attention: an attention operator that incorporates stacks, inspired by their theoretical connections to context-free languages (CFLs). We show that stack attention is analogous to standard attention, but with a latent model of syntax that requires no syntactic supervision. We propose two variants: one related to deterministic pushdown automata (PDAs) and one based on nondeterministic PDAs, which allows transformers to recognize arbitrary CFLs. We show that transformers with stack attention are very effective at learning CFLs that standard transformers struggle on, achieving strong results on a CFL with theoretically maximal parsing difficulty. We also show that stack attention is more effective at natural language modeling under a constrained parameter budget, and we include results on machine translation.
• Abstract（参考訳）: 注意、特に拡大されたドット製品注意は自然言語に有効であることが証明されているが、任意の入れ子深さの階層パターンを扱うメカニズムを持っておらず、特定の構文構造を認識する能力に制限がある。 この欠点に対処するために、我々はスタックアテンションを提案する。 スタックを組み込んだアテンションオペレータであり、その理論的に文脈自由言語(cfls)とのつながりに触発されている。 スタックの注意力は標準の注意力に似ているが、構文の監督を必要としない潜在的な構文モデルで示される。 決定論的プッシュダウンオートマトン(pdas)と非決定論的pda(transformerが任意のcflを認識することを可能にする)の2つの変種を提案する。 スタックアテンションを持つ変圧器は標準変圧器が苦戦するCFLの学習に非常に効果的であり,理論上は最大解析が難しいCFLに対して高い結果が得られることを示す。 また,制約パラメータ予算下での自然言語モデリングにおいてスタックアテンションがより効果的であることを示し,機械翻訳の結果を含む。

関連論文リスト

• Small-E: Small Language Model with Linear Attention for Efficient Speech Synthesis [7.865191493201841]
  言語モデルを用いたテキスト音声合成(TTS)の最近の進歩は、自然性やゼロショット音声のクローニングの実現において顕著な能力を示した。 本稿では,リピートやスキップの問題を緩和する特別なクロスアテンション機構を導入し,トランスフォーマーを新たなアーキテクチャに置き換えることを提案する。 我々のアーキテクチャは、長いサンプルで効率的に訓練し、同等の大きさのベースラインに対して最先端のゼロショット音声クローンを実現することができる。
  論文  参考訳（メタデータ） (2024-06-06T19:48:17Z)
• A Transformer with Stack Attention [84.18399019794036]
  本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。 我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。 スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
  論文  参考訳（メタデータ） (2024-05-07T17:47:57Z)
• Pointer-Generator Networks for Low-Resource Machine Translation: Don't Copy That! [13.120825574589437]
  本研究では,Transformer-based neural machine translation (NMT) が高リソース環境において非常に有効であることを示す。 このモデルでは,近縁な言語対と遠縁な言語対に対する改善が示されていない。 この動作の理由に関する議論は、LR NMTのいくつかの一般的な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-03-16T16:17:47Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations [51.77000472945441]
  Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。 実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。 本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:56:44Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。