Fugu-MT 論文翻訳(概要): Comparison of different Unique hard attention transformer models by the formal languages they can recognize

論文の概要: Comparison of different Unique hard attention transformer models by the formal languages they can recognize

arxiv url: http://arxiv.org/abs/2506.03370v1
Date: Tue, 03 Jun 2025 20:28:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-05 21:20:14.041869
Title: Comparison of different Unique hard attention transformer models by the formal languages they can recognize
Title（参考訳）: 認識可能な形式言語による異なるUniqueハードアテンション変換器モデルの比較
Authors: Leonid Ryvkin,
Abstract要約: マスク付き対非マスキング、有限対無限画像と一般対双線形アテンションスコア関数を区別する。我々はこれらのモデル間のいくつかの関係を思い出すとともに、一階述語論理と回路複雑性の点における上界に関して下界を思い出す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This note is a survey of various results on the capabilities of unique hard attention transformers encoders (UHATs) to recognize formal languages. We distinguish between masked vs. non-masked, finite vs. infinite image and general vs. bilinear attention score functions. We recall some relations between these models, as well as a lower bound in terms of first-order logic and an upper bound in terms of circuit complexity.
Abstract（参考訳）: 本報告は,形式言語を識別するユニークなハードアテンショントランスフォーマーエンコーダ(UHAT)の能力に関する様々な結果に関する調査である。マスク付き対非マスキング、有限対無限画像と一般対双線形アテンションスコア関数を区別する。我々はこれらのモデル間のいくつかの関係を思い出すとともに、一階述語論理と回路複雑性の点における上界に関して下界を思い出す。

関連論文リスト

Comateformer: Combined Attention Transformer for Semantic Sentence Matching [11.746010399185437]
本稿では,トランスフォーマーモデルに基づくコンバインド・アテンション・ネットワークという新しい意味文マッチングモデルを提案する。 Comateformer モデルでは,構成特性を持つ新しい変圧器を用いた準アテンション機構を設計する。提案手法は,双対親和性スコアを計算する際の類似性と相似性(負親和性)の直感に基づく。
論文参考訳（メタデータ） (2024-12-10T06:18:07Z)
Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
論文参考訳（メタデータ） (2023-08-17T17:59:19Z)
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
論文参考訳（メタデータ） (2022-10-11T18:11:37Z)
Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer [59.73454783958702]
本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
論文参考訳（メタデータ） (2022-10-06T07:39:58Z)
Formal Language Recognition by Hard Attention Transformers: Perspectives from Circuit Complexity [1.0159205678719043]
文字列アクセプタと見なされるUHATとGUHAT変換器は、複雑性クラスAC$0$の形式言語しか認識できないことを示す。対照的に、非AC$0$言語 MAJORITY と DYCK-1 は AHAT ネットワークによって認識可能であり、AHAT が UHAT と GUHAT が認識できない言語を認識できることを意味する。
論文参考訳（メタデータ） (2022-04-13T19:25:42Z)
Leveraging redundancy in attention with Reuse Transformers [58.614198953733194]
Pairwise dot product-based attentionでは、Transformerは入力依存の方法でトークン間で情報を交換することができる。典型的なTransformerモデルは、同じシーケンスに対してそのようなペアワイズアテンションスコアを何度も計算する。本稿では,複数の層において1層で計算された注意点を再利用する新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-10-13T16:08:02Z)
Incorporating Residual and Normalization Layers into Analysis of Masked Language Models [29.828669678974983]
我々は、トランスフォーマーの分析範囲を、単に注目パターンから注目ブロック全体まで拡張する。トランスフォーマーをベースとしたマスキング言語モデルの解析により,トークンとトークンの相互作用が従来想定されていた中間表現にほとんど影響を与えないことが分かる。
論文参考訳（メタデータ） (2021-09-15T08:32:20Z)
On the Ability and Limitations of Transformers to Recognize Formal Languages [9.12267978757844]
カウンター言語のサブクラスのためのトランスフォーマーの構築を提供する。トランスフォーマーはこのサブクラスでうまく機能し、それらの学習メカニズムは我々の構成と強く相関している。おそらく、LSTMとは対照的に、Transformerはパフォーマンスが低下する正規言語のサブセットでのみ動作する。
論文参考訳（メタデータ） (2020-09-23T17:21:33Z)
Hard Non-Monotonic Attention for Character-Level Transduction [65.17388794270694]
2つの弦間の多くの非単調なアライメントを余剰化するための厳密な指数時間アルゴリズムを導入する。ソフト・モノトニック・アテンションとハード・ノン・モノトニック・アテンションを実験的に比較したところ、正確なアルゴリズムは近似よりも性能を著しく改善し、ソフト・アテンションよりも優れていた。
論文参考訳（メタデータ） (2018-08-29T20:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。