論文の概要: Extracting Finite State Machines from Transformers

• arxiv url: http://arxiv.org/abs/2410.06045v1
• Date: Tue, 8 Oct 2024 13:43:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:20:35.670030
• Title: Extracting Finite State Machines from Transformers
• Title（参考訳）: 変圧器から有限状態機械を抽出する
• Authors: Rik Adriaensen, Jaron Maene,
• Abstract要約: 機械的解釈可能性の観点から正規言語で訓練された変圧器の訓練可能性について検討する。 有限個の記号が状態を決定するとき, 変圧器の訓練性に対して, より強い下界を経験的に見出す。 機械的な洞察により、1層トランスフォーマーが優れた長さの一般化で学習できる正規言語を特徴付けることができる。
• 参考スコア（独自算出の注目度）: 0.3069335774032178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fueled by the popularity of the transformer architecture in deep learning, several works have investigated what formal languages a transformer can learn. Nonetheless, existing results remain hard to compare and a fine-grained understanding of the trainability of transformers on regular languages is still lacking. We investigate transformers trained on regular languages from a mechanistic interpretability perspective. Using an extension of the $L^*$ algorithm, we extract Moore machines from transformers. We empirically find tighter lower bounds on the trainability of transformers, when a finite number of symbols determine the state. Additionally, our mechanistic insight allows us to characterise the regular languages a one-layer transformer can learn with good length generalisation. However, we also identify failure cases where the determining symbols get misrecognised due to saturation of the attention mechanism.
• Abstract（参考訳）: ディープラーニングにおけるトランスフォーマーアーキテクチャの人気に支えられ、いくつかの研究でトランスフォーマーがどのような形式言語を学べるかが研究されている。 それでも、既存の結果の比較は困難であり、正規言語におけるトランスフォーマーの訓練性に関する詳細な理解はいまだに不足している。 機械的解釈可能性の観点から正規言語で訓練された変換器について検討する。 L^*$アルゴリズムの拡張を用いて変換器からムーアマシンを抽出する。 有限個の記号が状態を決定するとき, 変圧器の訓練性に対して, より強い下界を経験的に見出す。 さらに、機械的な洞察により、1層トランスフォーマーが優れた長さの一般化で学習できる正規言語を特徴付けることができる。 しかし,注意機構の飽和により,判定シンボルが誤認識される場合も確認する。

関連論文リスト

• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• A Transformer with Stack Attention [84.18399019794036]
  本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。 我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。 スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
  論文  参考訳（メタデータ） (2024-05-07T17:47:57Z)
• Transformers Can Represent $n$-gram Language Models [56.06361029539347]
  本稿では,言語モデルの単純かつ歴史的なクラスであるトランスフォーマーLMと$n$-gram LMの関係に注目した。 ハードまたはスパースアテンション機構を用いたトランスフォーマーLMは,任意の$n$-gram LMを正確に表現できることを示す。
  論文  参考訳（メタデータ） (2024-04-23T12:51:37Z)
• Masked Hard-Attention Transformers Recognize Exactly the Star-Free Languages [7.938342455750221]
  本研究では,注目度の高い変圧器の正確なキャラクタリゼーションについて検討した。 厳密なマスキング(各位置は自身には参加できない)と位置埋め込みがなければ、これらの変換器は線形時間論理と表現的に等価である。
  論文  参考訳（メタデータ） (2023-10-21T03:26:39Z)
• The Expressive Power of Transformers with Chain of Thought [29.839710738657203]
  実際には、トランスフォーマーは「思考の連鎖」や「スクラッチパッド」を使用することで改善できる。 答えはYESであるが、増加量は中間生成量に大きく依存する。 また, 線形ステップでは, コンテクストに敏感な言語に変換器デコーダを配置することが示唆された。
  論文  参考訳（メタデータ） (2023-10-11T22:35:18Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors [15.348047288817478]
  我々は,変圧器因子の線形重ね合わせとして,辞書学習を用いて「ブラックボックス」を開くことを提案する。 可視化により,変換因子によって得られた階層的意味構造を実演する。 この視覚化ツールによって、トランスフォーマーネットワークの動作に関するさらなる知識と理解が得られればと思っています。
  論文  参考訳（メタデータ） (2021-03-29T20:51:33Z)
• On the Ability and Limitations of Transformers to Recognize Formal Languages [9.12267978757844]
  カウンター言語のサブクラスのためのトランスフォーマーの構築を提供する。 トランスフォーマーはこのサブクラスでうまく機能し、それらの学習メカニズムは我々の構成と強く相関している。 おそらく、LSTMとは対照的に、Transformerはパフォーマンスが低下する正規言語のサブセットでのみ動作する。
  論文  参考訳（メタデータ） (2020-09-23T17:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。