論文の概要: Masked Hard-Attention Transformers Recognize Exactly the Star-Free Languages

• arxiv url: http://arxiv.org/abs/2310.13897v3
• Date: Wed, 22 May 2024 18:07:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 20:33:22.106255
• Title: Masked Hard-Attention Transformers Recognize Exactly the Star-Free Languages
• Title（参考訳）: スターフリー言語を正確に認識するマスクハードアテンション変換器
• Authors: Andy Yang, David Chiang, Dana Angluin,
• Abstract要約: 非有界なサイズの入力に対する変換子の表現力は、形式言語のクラスを認識する能力を通じて研究することができる。 コンバータエンコーダは(すべての注意が正確に1つの位置に集中している)難易度と厳密な将来のマスキングを考慮に入れている。 次に、表現力で知られている多くの結果を変換器に適用し、どのように位置埋め込み、厳密なマスキング、深度増大パワーを特徴付ける。
• 参考スコア（独自算出の注目度）: 7.938342455750221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The expressive power of transformers over inputs of unbounded size can be studied through their ability to recognize classes of formal languages. We consider transformer encoders with hard attention (in which all attention is focused on exactly one position) and strict future masking (in which each position only attends to positions strictly to its left), and prove that they are equivalent to linear temporal logic (LTL), which defines exactly the star-free languages. A key technique is the use of Boolean RASP as a convenient intermediate language between transformers and LTL. We then take numerous results known for LTL and apply them to transformers, characterizing how position embeddings, strict masking, and depth increase expressive power.
• Abstract（参考訳）: 非有界なサイズの入力に対する変換子の表現力は、形式言語のクラスを認識する能力を通じて研究することができる。 我々は、(すべての注意が正確に1つの位置に集中している)トランスフォーマーエンコーダと厳密な将来のマスキング(各位置が左に厳密に位置にのみ入っている場合)について検討し、それらがちょうど恒星自由言語を定義する線形時間論理(LTL)と等価であることを示す。 鍵となる技術は、変換器とTL間の便利な中間言語としてBoolean RASPを使用することである。 LTLで知られている多くの結果を変換器に適用し、どのように位置埋め込み、厳密なマスキング、深さが表現力を増加させるかを特徴付ける。

関連論文リスト

• A Transformer with Stack Attention [84.18399019794036]
  本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。 我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。 スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
  論文  参考訳（メタデータ） (2024-05-07T17:47:57Z)
• Tighter Bounds on the Expressivity of Transformer Encoders [9.974865253097127]
  固定精度変圧器エンコーダの上位境界と変圧器エンコーダの下位境界とを同時に有する量子化器を数える一階述語論理の変種を同定する。 これにより、トランスフォーマーエンコーダが認識する言語の正確なキャラクタリゼーションに、これまでよりもずっと近いものになります。
  論文  参考訳（メタデータ） (2023-01-25T18:05:55Z)
• Word Order Matters when you Increase Masking [70.29624135819884]
  本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。 位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
  論文  参考訳（メタデータ） (2022-11-08T18:14:04Z)
• LAVT: Language-Aware Vision Transformer for Referring Image Segmentation [80.54244087314025]
  視覚トランスフォーマーエンコーダネットワークにおいて,言語的特徴と視覚的特徴を早期に融合することにより,より優れたモーダルアライメントを実現することができることを示す。 提案手法は,RefCOCO,RefCO+,G-Refの従来の最先端手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-12-04T04:53:35Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors [15.348047288817478]
  我々は,変圧器因子の線形重ね合わせとして,辞書学習を用いて「ブラックボックス」を開くことを提案する。 可視化により,変換因子によって得られた階層的意味構造を実演する。 この視覚化ツールによって、トランスフォーマーネットワークの動作に関するさらなる知識と理解が得られればと思っています。
  論文  参考訳（メタデータ） (2021-03-29T20:51:33Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• Position Information in Transformers: An Overview [6.284464997330884]
  本稿では,トランスフォーマーモデルに位置情報を組み込む共通手法の概要について述べる。 本調査の目的は,Transformerにおける位置情報が活発で広範な研究領域であることを示すことである。
  論文  参考訳（メタデータ） (2021-02-22T15:03:23Z)
• On the Ability and Limitations of Transformers to Recognize Formal Languages [9.12267978757844]
  カウンター言語のサブクラスのためのトランスフォーマーの構築を提供する。 トランスフォーマーはこのサブクラスでうまく機能し、それらの学習メカニズムは我々の構成と強く相関している。 おそらく、LSTMとは対照的に、Transformerはパフォーマンスが低下する正規言語のサブセットでのみ動作する。
  論文  参考訳（メタデータ） (2020-09-23T17:21:33Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)
• Character-Level Translation with Self-attention [9.864260997723974]
  文字レベルのニューラルマシン翻訳における自己注意モデルの有効性について検討する。 本稿では,標準変圧器モデルとエンコーダブロックがコンボリューションを用いて周辺文字からの情報を結合する新しい変種を検証した。 我々の変圧器変種はキャラクタレベルで標準変圧器より一貫して優れ、より堅牢なキャラクタレベルのアライメントを学習しながらより高速に収束する。
  論文  参考訳（メタデータ） (2020-04-30T14:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。