論文の概要: The Role of Logic and Automata in Understanding Transformers

• arxiv url: http://arxiv.org/abs/2509.24024v1
• Date: Sun, 28 Sep 2025 18:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.596099
• Title: The Role of Logic and Automata in Understanding Transformers
• Title（参考訳）: 変圧器理解における論理とオートマタの役割
• Authors: Anthony W. Lin, Pablo Barcelo,
• Abstract要約: ここ数年の急速な進歩を、トランスフォーマーに何ができるかという疑問に振り返る。 この質問に答える上で、ロジックとオートマトンの役割は不可欠です。 また、論理、オートマトン、検証、変換器の交点におけるいくつかのオープンな問題についても言及する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advent of transformers has in recent years led to powerful and revolutionary Large Language Models (LLMs). Despite this, our understanding on the capability of transformers is still meager. In this invited contribution, we recount the rapid progress in the last few years to the question of what transformers can do. In particular, we will see the integral role of logic and automata (also with some help from circuit complexity) in answering this question. We also mention several open problems at the intersection of logic, automata, verification and transformers.
• Abstract（参考訳）: 近年のトランスフォーマーの出現は、強力で革命的なLarge Language Models (LLMs) へと繋がった。 それにもかかわらず、トランスフォーマーの能力に対する私たちの理解はいまだに単純です。 この招待されたコントリビューションでは、過去数年間の急速な進歩を、トランスフォーマーに何ができるかという疑問に振り返る。 特に、この問題に答える上で、論理とオートマトン(回路の複雑さの助けも伴う)の不可欠な役割を見出す。 また、論理、オートマトン、検証、変換器の交点におけるいくつかのオープンな問題についても言及する。

関連論文リスト

• Enhancing Transformers for Generalizable First-Order Logical Entailment [51.04944136538266]
  本稿では,変圧器の1次論理的推論能力をパラメータ化知識を用いて一般化する。 本稿では,一階述語論理エンターメントの性能を大幅に向上させる論理認識アーキテクチャTEGAを提案する。
  論文  参考訳（メタデータ） (2025-01-01T07:05:32Z)
• Extracting Moore Machines from Transformers using Queries and Counterexamples [6.612713406498215]
  正規言語で訓練された変換器の高レベル抽象化として有限状態オートマトンを構築する。 文献で使用される多くのトレーニングタスクをそれらにマッピングできるので、ムーアマシンを抽出する。 本稿では,正のみの学習法とシーケンス精度を詳細に研究することで,このアプローチの有用性を実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:43:50Z)
• Transformers are Expressive, But Are They Expressive Enough for Regression? [38.369337945109855]
  この結果から,トランスフォーマーはスムーズな関数を確実に近似するのに苦労し,分割的に一定間隔の近似に頼っていることがわかった。 これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。
  論文  参考訳（メタデータ） (2024-02-23T18:12:53Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。