論文の概要: A Transformer with Stack Attention

• arxiv url: http://arxiv.org/abs/2405.04515v2
• Date: Mon, 13 May 2024 18:56:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 18:22:42.302043
• Title: A Transformer with Stack Attention
• Title（参考訳）: スタックアテンションを有する変圧器
• Authors: Jiaoda Li, Jennifer C. White, Mrinmaya Sachan, Ryan Cotterell,
• Abstract要約: 本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。 我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。 スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
• 参考スコア（独自算出の注目度）: 84.18399019794036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural languages are believed to be (mildly) context-sensitive. Despite underpinning remarkably capable large language models, transformers are unable to model many context-free language tasks. In an attempt to address this limitation in the modeling power of transformer-based language models, we propose augmenting them with a differentiable, stack-based attention mechanism. Our stack-based attention mechanism can be incorporated into any transformer-based language model and adds a level of interpretability to the model. We show that the addition of our stack-based attention mechanism enables the transformer to model some, but not all, deterministic context-free languages.
• Abstract（参考訳）: 自然言語は文脈に敏感であると考えられている。 非常に有能な大きな言語モデルを支えるにもかかわらず、トランスフォーマーは多くの文脈に依存しない言語タスクをモデル化することはできない。 変換器に基づく言語モデルのモデリング能力において、この制限に対処するために、微分可能なスタックベースのアテンション機構でそれらを拡張することを提案する。 我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。 スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。

関連論文リスト

• Revenge of the Fallen? Recurrent Models Match Transformers at Predicting Human Language Comprehension Metrics [3.3932293160775298]
  現代のリカレントモデルでは,オンラインヒューマン言語理解のモデル化において,比較可能な大きさのトランスフォーマーの性能を上回る結果が得られた。 このことは、トランスフォーマー言語モデルがこのタスクに一意に適していないことを示唆し、言語モデルのアーキテクチャ的特徴が人間の言語理解のモデルをより良く、より悪いものにするかどうかについての議論のための新たな方向性を開くことを示唆している。
  論文  参考訳（メタデータ） (2024-04-30T01:02:15Z)
• Stack Attention: Improving the Ability of Transformers to Model Hierarchical Patterns [17.144569385099462]
  スタックアテンションは標準的なアテンションと類似しているが,構文的な監督を必要としない構文の潜在モデルで示している。 本稿では,制約パラメータ予算の下での自然言語モデリングにおいてスタックアテンションがより効果的であることを示し,機械翻訳の結果を含む。
  論文  参考訳（メタデータ） (2023-10-03T02:18:06Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Language Model-Based Paired Variational Autoencoders for Robotic Language Learning [18.851256771007748]
  人間の幼児と同様、人工エージェントは環境と対話しながら言語を学ぶことができる。 本稿では,ロボットの動作と言語記述を双方向に結合するニューラルモデルを提案する。 次に, PVAE-BERTを導入し, 事前訓練された大規模言語モデルとモデルを同調する。
  論文  参考訳（メタデータ） (2022-01-17T10:05:26Z)
• Learning Chess Blindfolded: Evaluating Language Models on State Tracking [69.3794549747725]
  私たちはチェスのゲームのための言語モデリングのタスクを検討します。 自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。 トランスフォーマー言語モデルでは,移動シーケンスのみを訓練することで,ピースの追跡や法的動作の予測を高精度に行うことができる。
  論文  参考訳（メタデータ） (2021-02-26T01:16:23Z)
• On the Ability and Limitations of Transformers to Recognize Formal Languages [9.12267978757844]
  カウンター言語のサブクラスのためのトランスフォーマーの構築を提供する。 トランスフォーマーはこのサブクラスでうまく機能し、それらの学習メカニズムは我々の構成と強く相関している。 おそらく、LSTMとは対照的に、Transformerはパフォーマンスが低下する正規言語のサブセットでのみ動作する。
  論文  参考訳（メタデータ） (2020-09-23T17:21:33Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。