論文の概要: Limit Analysis for Symbolic Multi-step Reasoning Tasks with Information Propagation Rules Based on Transformers

• arxiv url: http://arxiv.org/abs/2509.23178v1
• Date: Sat, 27 Sep 2025 08:13:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.088502
• Title: Limit Analysis for Symbolic Multi-step Reasoning Tasks with Information Propagation Rules Based on Transformers
• Title（参考訳）: 変圧器に基づく情報伝達規則付き記号的多段階推論タスクの極限解析
• Authors: Tian Qin, Yuhan Chen, Zhiwei Wang, Zhi-Qin John Xu,
• Abstract要約: 単一パスの注意層が$L$であるモデルに対して、推論ステップの極限数は$O(2L-1)$と$O(2L-1)$の間であることを示す。
• 参考スコア（独自算出の注目度）: 22.46195883200657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are able to perform reasoning tasks, however the intrinsic mechanism remains widely open. In this paper we propose a set of information propagation rules based on Transformers and utilize symbolic reasoning tasks to theoretically analyze the limit reasoning steps. We show that the limit number of reasoning steps is between $O(3^{L-1})$ and $O(2^{L-1})$ for a model with $L$ attention layers in a single-pass.
• Abstract（参考訳）: トランスフォーマーは推論タスクを実行できるが、本質的なメカニズムは依然として広く開放されている。 本稿では,トランスフォーマーに基づく情報伝達ルールのセットを提案し,シンボル推論タスクを用いて理論的にリミット推論のステップを解析する。 単一パスの注意層が$L$であるモデルに対して、推論ステップの極限数は$O(3^{L-1})$と$O(2^{L-1})$の間であることを示す。

関連論文リスト

• Provable Failure of Language Models in Learning Majority Boolean Logic via Gradient Descent [15.291830857281015]
  勾配法を用いて学習すると,トランスフォーマーが真に単純な多数関数を学習できるかどうかを検討する。 我々の分析は、$mathrmpoly(d)$グラデーションクエリ後も、Transformerモデルの一般化誤差は依然としてかなり大きいことを証明している。
  論文  参考訳（メタデータ） (2025-04-07T03:08:12Z)
• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• Counting Ability of Large Language Models and Impact of Tokenization [17.53620419920189]
  大規模言語モデル(LLM)の数え上げ能力に及ぼすトークン化の影響について検討する。 本研究は, LLMのカウント能力に及ぼすトークン化の影響について検討し, 入力トークン化差に基づく性能変化を明らかにする。
  論文  参考訳（メタデータ） (2024-10-25T17:56:24Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• A Probabilistic Interpretation of Transformers [91.3755431537592]
  本稿では,変圧器の指数点積注意の確率論的解釈と指数列に基づくコントラスト学習を提案する。 我々は、我々の理論とホップフィールド理論の理論的限界を述べ、分解の方向性を提案する。
  論文  参考訳（メタデータ） (2022-04-28T23:05:02Z)
• Realization of arbitrary doubly-controlled quantum phase gates [62.997667081978825]
  本稿では,最適化問題における短期量子優位性の提案に着想を得た高忠実度ゲートセットを提案する。 3つのトランペット四重項のコヒーレントな多レベル制御を編成することにより、自然な3量子ビット計算ベースで作用する決定論的連続角量子位相ゲートの族を合成する。
  論文  参考訳（メタデータ） (2021-08-03T17:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。