論文の概要: Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation

• arxiv url: http://arxiv.org/abs/2603.17019v1
• Date: Tue, 17 Mar 2026 18:02:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.335785
• Title: Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation
• Title（参考訳）: トランスフォーマーは、今まで見たことのないルールを学べる:補間を超えた計算の証明
• Authors: Andy Gray,
• Abstract要約: 2つの制御された設定で強みのみの仮説をテストする。 実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いる。 実験2では、整数上のシンボリック作用素鎖を1つの作用素対が持ち上がった状態で研究する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central question in the LLM debate is whether transformers can infer rules absent from training, or whether apparent generalisation reduces to similarity-based interpolation over observed examples. We test a strong interpolation-only hypothesis in two controlled settings: one where interpolation is ruled out by construction and proof, and one where success requires emitting intermediate symbolic derivations rather than only final answers. In Experiment 1, we use a cellular automaton with a pure XOR transition rule and remove specific local input patterns from training; since XOR is linearly inseparable, each held-out pattern's nearest neighbours have the opposite label, so similarity-based predictors fail on the held-out region. Yet a two-layer transformer recovers the rule (best 100%; 47/60 converged runs), and circuit extraction identifies XOR computation. Performance depends on multi-step constraint propagation: without unrolling, accuracy matches output bias (63.1%), while soft unrolling reaches 96.7%. In Experiment 2, we study symbolic operator chains over integers with one operator pair held out; the model must emit intermediate steps and a final answer in a proof-like format. Across all 49 holdout pairs, the transformer exceeds every interpolation baseline (mean 41.8%, up to 78.6%; mean KRR 4.3%; KNN and MLP score 0% on every pair), while removing intermediate-step supervision degrades performance. Together with a construction showing that a standard transformer block can implement exact local Boolean rules, these results provide an existence proof that transformers can learn rule structure not directly observed in training and express it explicitly, ruling out the strongest architectural form of interpolation-only accounts: that transformers cannot in principle discover and communicate unseen rules, while leaving open when such behaviour arises in large-scale language training.
• Abstract（参考訳）: LLMの議論の中心的な問題は、トランスフォーマーがトレーニングから欠落した規則を推測できるのか、あるいは明らかな一般化が観察例よりも類似性に基づく補間に還元されるのかである。 補間のみの仮説を2つの制御された環境で検証する: 補間を構成と証明によって除外する; 成功させるには最終回答だけでなく中間的記号導出を出力する必要がある。 実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いて、訓練から特定の局所的な入力パターンを除去する。 しかし、2層トランスはルールを回復し(最多100%; 47/60収束実行)、回路抽出によりXOR計算が特定される。 精度は出力バイアス(63.1%)と一致し、ソフトアンローリングは96.7%に達する。 実験2では,1つの演算子ペアを持つ整数上のシンボリック演算子連鎖について検討する。 全ての49組のホールトアウトペアの中で、トランスフォーマーは全ての補間ベースライン(平均41.8%、平均78.6%、平均KRR 4.3%、KNNとMLPのスコア0%)を超え、中間段階の監督は性能を低下させる。 標準的なトランスフォーマーブロックが正確な局所ブール規則を実装可能であることを示す構成とともに、これらの結果は、トランスフォーマーがトレーニングで直接観察されていないルール構造を学習し、明示的に表現し、インターポーレーションのみのアカウントの最も強いアーキテクチャ形態を除外できることを示す。

関連論文リスト

• Transformers Don't In-Context Learn Least Squares Regression [5.648229654902264]
  In-context Learning (ICL) は、大規模な事前学習型トランスフォーマーの強力な能力として登場した。 我々は、トランスフォーマーが推論時に学習をどのように実装するかを研究する。 ICLの行動形成におけるプレトレーニングコーパスの役割を強調した。
  論文  参考訳（メタデータ） (2025-07-13T01:09:26Z)
• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• Transformers Provably Solve Parity Efficiently with Chain of Thought [40.78854925996]
  この研究は、複雑な問題を解決するためのトレーニングトランスの最初の理論的解析を提供する。 我々は、基本的な$k$-parity問題を解くために、1層トランスを訓練することを検討する。
  論文  参考訳（メタデータ） (2024-10-11T08:55:17Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• The Parallelism Tradeoff: Limitations of Log-Precision Transformers [29.716269397142973]
  入力トークン数における算術精度が対数的である変換器は、定数深さの対数空間一様しきい値回路でシミュレートできることを示す。 これは、複雑性理論の既知の結果を用いた変圧器のパワーに関する洞察を与える。
  論文  参考訳（メタデータ） (2022-07-02T03:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。