論文の概要: Transformers Implement First-Order Logic with Majority Quantifiers

• arxiv url: http://arxiv.org/abs/2210.02671v1
• Date: Thu, 6 Oct 2022 04:18:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 17:46:46.112739
• Title: Transformers Implement First-Order Logic with Majority Quantifiers
• Title（参考訳）: 量子化器を用いた一階論理の変換器
• Authors: William Merrill and Ashish Sabharwal
• Abstract要約: 本稿では,任意の変圧器ニューラルネットワークを等価な一階述語論理式に変換可能であることを示す。 また,2つの整数の除算にのみ変換器全体の計算を還元できるという驚くべき事実も明らかにした。
• 参考スコア（独自算出の注目度）: 29.716269397142973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Characterizing the implicit structure of the computation within neural networks is a foundational problem in the area of deep learning interpretability. Can their inner decision process be captured symbolically in some familiar logic? We show that any transformer neural network can be translated into an equivalent fixed-size first-order logic formula which may also use majority quantifiers. The idea is to simulate transformers with highly uniform threshold circuits and leverage known theoretical connections between circuits and logic. Our findings also reveal the surprising fact that the entire transformer computation can be reduced merely to the division of two (large) integers. While our results are most pertinent for transformers, they apply equally to a broader class of neural network architectures, namely those with a fixed-depth uniform computation graph made up of standard neural net components, which includes feedforward and convolutional networks.
• Abstract（参考訳）: ニューラルネットワーク内の計算の暗黙構造を特徴付けることは、ディープラーニングの解釈可能性の領域における基礎的な問題である。 それらの内部決定プロセスは、見慣れた論理で象徴的に捉えられるか? 我々は,任意のトランスフォーマリンニューラルネットワークを等価な固定サイズの一階述語論理式に変換できることを示した。 このアイデアは、非常に均一なしきい値回路でトランスフォーマーをシミュレートし、回路と論理の間の既知の理論的接続を活用する。 また,2つの(大きな)整数の分割にのみ変換器全体の計算を還元できるという驚くべき事実も明らかになった。 我々の結果はトランスにとって最も重要でありながら、ニューラルネットワークアーキテクチャのより広範なクラス、すなわち、フィードフォワードと畳み込みネットワークを含む標準ニューラルネットワークコンポーネントからなる固定深度均一な計算グラフに等しく適用される。

関連論文リスト

• Extracting Finite State Machines from Transformers [0.3069335774032178]
  機械的解釈可能性の観点から正規言語で訓練された変圧器の訓練可能性について検討する。 有限個の記号が状態を決定するとき, 変圧器の訓練性に対して, より強い下界を経験的に見出す。 機械的な洞察により、1層トランスフォーマーが優れた長さの一般化で学習できる正規言語を特徴付けることができる。
  論文  参考訳（メタデータ） (2024-10-08T13:43:50Z)
• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• On the Expressive Power of a Variant of the Looped Transformer [83.30272757948829]
  我々はアルゴリズム能力でトランスフォーマーを強化するために、AlgoFormerと呼ばれる新しいトランスフォーマーブロックを設計する。 提案したAlgoFormerは、同じ数のパラメータを使用する場合、アルゴリズム表現においてはるかに高い精度を達成することができる。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーが、人間設計のアルゴリズムよりも賢い可能性があることを示している。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• The Expressive Power of Transformers with Chain of Thought [29.839710738657203]
  実際には、トランスフォーマーは「思考の連鎖」や「スクラッチパッド」を使用することで改善できる。 答えはYESであるが、増加量は中間生成量に大きく依存する。 また, 線形ステップでは, コンテクストに敏感な言語に変換器デコーダを配置することが示唆された。
  論文  参考訳（メタデータ） (2023-10-11T22:35:18Z)
• Tighter Bounds on the Expressivity of Transformer Encoders [9.974865253097127]
  固定精度変圧器エンコーダの上位境界と変圧器エンコーダの下位境界とを同時に有する量子化器を数える一階述語論理の変種を同定する。 これにより、トランスフォーマーエンコーダが認識する言語の正確なキャラクタリゼーションに、これまでよりもずっと近いものになります。
  論文  参考訳（メタデータ） (2023-01-25T18:05:55Z)
• The Parallelism Tradeoff: Limitations of Log-Precision Transformers [29.716269397142973]
  入力トークン数における算術精度が対数的である変換器は、定数深さの対数空間一様しきい値回路でシミュレートできることを示す。 これは、複雑性理論の既知の結果を用いた変圧器のパワーに関する洞察を与える。
  論文  参考訳（メタデータ） (2022-07-02T03:49:34Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。