論文の概要: Automata Extraction from Transformers

• arxiv url: http://arxiv.org/abs/2406.05564v1
• Date: Sat, 8 Jun 2024 20:07:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 19:06:24.473471
• Title: Automata Extraction from Transformers
• Title（参考訳）: 変圧器からのオートマタ抽出
• Authors: Yihao Zhang, Zeming Wei, Meng Sun,
• Abstract要約: トランスフォーマーモデルに特化して設計された自動抽出アルゴリズムを提案する。 トランスフォーマーモデルをブラックボックスシステムとして扱い、内部の潜在表現の変換プロセスを通してモデルを追跡する。 次に、L*アルゴリズムのような古典的な教育的手法を用いて、それらを決定論的有限状態オートマトンと解釈する。
• 参考スコア（独自算出の注目度）: 5.419884861365132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In modern machine (ML) learning systems, Transformer-based architectures have achieved milestone success across a broad spectrum of tasks, yet understanding their operational mechanisms remains an open problem. To improve the transparency of ML systems, automata extraction methods, which interpret stateful ML models as automata typically through formal languages, have proven effective for explaining the mechanism of recurrent neural networks (RNNs). However, few works have been applied to this paradigm to Transformer models. In particular, understanding their processing of formal languages and identifying their limitations in this area remains unexplored. In this paper, we propose an automata extraction algorithm specifically designed for Transformer models. Treating the Transformer model as a black-box system, we track the model through the transformation process of their internal latent representations during their operations, and then use classical pedagogical approaches like L* algorithm to interpret them as deterministic finite-state automata (DFA). Overall, our study reveals how the Transformer model comprehends the structure of formal languages, which not only enhances the interpretability of the Transformer-based ML systems but also marks a crucial step toward a deeper understanding of how ML systems process formal languages. Code and data are available at https://github.com/Zhang-Yihao/Transfomer2DFA.
• Abstract（参考訳）: 現代の機械学習システム(ML)では、トランスフォーマーベースのアーキテクチャは幅広いタスクでマイルストーンを達成しているが、その運用メカニズムの理解は依然としてオープンな問題である。 MLシステムの透明性を高めるために、ステートフルMLモデルを通常形式言語を介してオートマトンと解釈するオートマトン抽出法は、リカレントニューラルネットワーク(RNN)のメカニズムを説明するのに有効であることが証明された。 しかし、このパラダイムをTransformerモデルに適用する研究はほとんどない。 特に、形式言語の処理を理解し、この分野における制限を特定することは、まだ探索されていない。 本論文では,トランスフォーマーモデルに特化して設計された自動抽出アルゴリズムを提案する。 トランスフォーマーモデルをブラックボックスシステムとして扱い、動作中の内部潜在表現の変換プロセスを通してモデルを追跡し、L*アルゴリズムのような古典的な教育的アプローチを用いて決定論的有限状態オートマトン(DFA)として解釈する。 本研究は、トランスフォーマーモデルが形式言語の構造をどう理解するかを明らかにし、トランスフォーマーベースのMLシステムの解釈可能性を高めるだけでなく、MLシステムが形式言語をどのように処理するかを深く理解するための重要なステップとなる。 コードとデータはhttps://github.com/Zhang-Yihao/Transfomer2DFAで公開されている。

関連論文リスト

• Transformers meet Neural Algorithmic Reasoners [16.5785372289558]
  我々は、トランスフォーマー言語理解とグラフニューラルネットワーク(GNN)に基づくニューラルネットワーク推論(NAR)の堅牢性を組み合わせた新しいアプローチを提案する。 CLRS-30ベンチマークのテキストベースバージョンであるCLRS-Text上で得られたTransNARモデルを評価し,アルゴリズム推論のためのTransformerのみのモデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-13T16:42:06Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers [12.986126243018452]
  我々は,変圧器のフレームワークに合わせて設計された新しい代理モデルであるSoftmax-Linked Additive Log-Odds Model (SLALOM)を紹介する。 SLALOMは、合成データセットと実世界のデータセットの両方にわたって、忠実で洞察に富んだ説明を提供する能力を示している。
  論文  参考訳（メタデータ） (2024-05-22T11:14:00Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Anatomy of Neural Language Models [0.0]
  トランスフォーマーベースの言語モデル(LM)は、幅広い応用において新しい最先端の結果をもたらしている。 言語モデリングのようなタスクで事前訓練されたトランスフォーマーは、コンピュータビジョンや時系列アプリケーションで広く採用されている。
  論文  参考訳（メタデータ） (2024-01-08T10:27:25Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• A Meta-Learning Perspective on Transformers for Causal Language Modeling [17.293733942245154]
  Transformerアーキテクチャは、大規模な因果言語モデルの開発において顕著になっている。 因果言語モデリングタスクのトレーニングにおいて,トランスフォーマーアーキテクチャのメタラーニングビューを確立する。 内部最適化では,Transformerに基づく因果言語モデルにおいて,学習トークン表現のノルムの特別な特徴を発見し,理論的に解析する。
  論文  参考訳（メタデータ） (2023-10-09T17:27:36Z)
• Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations [51.77000472945441]
  Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。 実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。 本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:56:44Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。