Fugu-MT 論文翻訳(概要): A Transformer with Stack Attention

論文の概要: A Transformer with Stack Attention

arxiv url: http://arxiv.org/abs/2405.04515v2
Date: Mon, 13 May 2024 18:56:18 GMT
ステータス: 処理完了
システム内更新日: 2024-05-15 18:22:42.302043
Title: A Transformer with Stack Attention
Title（参考訳）: スタックアテンションを有する変圧器
Authors: Jiaoda Li, Jennifer C. White, Mrinmaya Sachan, Ryan Cotterell,
Abstract要約: 本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
参考スコア（独自算出の注目度）: 84.18399019794036
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Natural languages are believed to be (mildly) context-sensitive. Despite underpinning remarkably capable large language models, transformers are unable to model many context-free language tasks. In an attempt to address this limitation in the modeling power of transformer-based language models, we propose augmenting them with a differentiable, stack-based attention mechanism. Our stack-based attention mechanism can be incorporated into any transformer-based language model and adds a level of interpretability to the model. We show that the addition of our stack-based attention mechanism enables the transformer to model some, but not all, deterministic context-free languages.
Abstract（参考訳）: 自然言語は文脈に敏感であると考えられている。非常に有能な大きな言語モデルを支えるにもかかわらず、トランスフォーマーは多くの文脈に依存しない言語タスクをモデル化することはできない。変換器に基づく言語モデルのモデリング能力において、この制限に対処するために、微分可能なスタックベースのアテンション機構でそれらを拡張することを提案する。我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。

関連論文リスト

Extracting Finite State Machines from Transformers [0.3069335774032178]
機械的解釈可能性の観点から正規言語で訓練された変圧器の訓練可能性について検討する。有限個の記号が状態を決定するとき, 変圧器の訓練性に対して, より強い下界を経験的に見出す。機械的な洞察により、1層トランスフォーマーが優れた長さの一般化で学習できる正規言語を特徴付けることができる。
論文参考訳（メタデータ） (2024-10-08T13:43:50Z)
Revenge of the Fallen? Recurrent Models Match Transformers at Predicting Human Language Comprehension Metrics [3.3932293160775298]
現代のリカレントモデルでは,オンラインの人間の言語理解をモデル化する上で,比較可能な大きさのトランスフォーマーの性能を - そして場合によっては - 上回ることができることを示す。このことは、トランスフォーマー言語モデルがこのタスクに一意に適していないことを示唆し、言語モデルのアーキテクチャ的特徴が人間の言語理解のモデルをより良く、より悪いものにするかどうかについての議論のための新たな方向性を開くことを示唆している。
論文参考訳（メタデータ） (2024-04-30T01:02:15Z)
Stack Attention: Improving the Ability of Transformers to Model Hierarchical Patterns [17.144569385099462]
スタックアテンションは標準的なアテンションと類似しているが,構文的な監督を必要としない構文の潜在モデルで示している。本稿では,制約パラメータ予算の下での自然言語モデリングにおいてスタックアテンションがより効果的であることを示し,機械翻訳の結果を含む。
論文参考訳（メタデータ） (2023-10-03T02:18:06Z)
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
論文参考訳（メタデータ） (2022-10-11T18:11:37Z)
Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
論文参考訳（メタデータ） (2022-05-12T17:59:56Z)
Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
形態的に豊かな言語は機械翻訳に困難をもたらす。多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
論文参考訳（メタデータ） (2022-03-25T10:13:20Z)
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文参考訳（メタデータ） (2022-03-01T17:22:31Z)
Learning Chess Blindfolded: Evaluating Language Models on State Tracking [69.3794549747725]
私たちはチェスのゲームのための言語モデリングのタスクを検討します。自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。トランスフォーマー言語モデルでは,移動シーケンスのみを訓練することで,ピースの追跡や法的動作の予測を高精度に行うことができる。
論文参考訳（メタデータ） (2021-02-26T01:16:23Z)
On the Ability and Limitations of Transformers to Recognize Formal Languages [9.12267978757844]
カウンター言語のサブクラスのためのトランスフォーマーの構築を提供する。トランスフォーマーはこのサブクラスでうまく機能し、それらの学習メカニズムは我々の構成と強く相関している。おそらく、LSTMとは対照的に、Transformerはパフォーマンスが低下する正規言語のサブセットでのみ動作する。
論文参考訳（メタデータ） (2020-09-23T17:21:33Z)
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
論文参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。