論文の概要: Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation

• arxiv url: http://arxiv.org/abs/2603.17019v1
• Date: Tue, 17 Mar 2026 18:02:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.335785
• Title: Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation
• Title（参考訳）: トランスフォーマーは、今まで見たことのないルールを学べる:補間を超えた計算の証明
• Abstract要約: 2つの制御された設定で強みのみの仮説をテストする。 実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いる。 実験2では、整数上のシンボリック作用素鎖を1つの作用素対が持ち上がった状態で研究する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central question in the LLM debate is whether transformers can infer rules absent from training, or whether apparent generalisation reduces to similarity-based interpolation over observed examples. We test a strong interpolation-only hypothesis in two controlled settings: one where interpolation is ruled out by construction and proof, and one where success requires emitting intermediate symbolic derivations rather than only final answers. In Experiment 1, we use a cellular automaton with a pure XOR transition rule and remove specific local input patterns from training; since XOR is linearly inseparable, each held-out pattern's nearest neighbours have the opposite label, so similarity-based predictors fail on the held-out region. Yet a two-layer transformer recovers the rule (best 100%; 47/60 converged runs), and circuit extraction identifies XOR computation. Performance depends on multi-step constraint propagation: without unrolling, accuracy matches output bias (63.1%), while soft unrolling reaches 96.7%. In Experiment 2, we study symbolic operator chains over integers with one operator pair held out; the model must emit intermediate steps and a final answer in a proof-like format. Across all 49 holdout pairs, the transformer exceeds every interpolation baseline (mean 41.8%, up to 78.6%; mean KRR 4.3%; KNN and MLP score 0% on every pair), while removing intermediate-step supervision degrades performance. Together with a construction showing that a standard transformer block can implement exact local Boolean rules, these results provide an existence proof that transformers can learn rule structure not directly observed in training and express it explicitly, ruling out the strongest architectural form of interpolation-only accounts: that transformers cannot in principle discover and communicate unseen rules, while leaving open when such behaviour arises in large-scale language training.
• Abstract（参考訳）: LLMの議論の中心的な問題は、トランスフォーマーがトレーニングから欠落した規則を推測できるのか、あるいは明らかな一般化が観察例よりも類似性に基づく補間に還元されるのかである。 補間のみの仮説を2つの制御された環境で検証する: 補間を構成と証明によって除外する; 成功させるには最終回答だけでなく中間的記号導出を出力する必要がある。 実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いて、訓練から特定の局所的な入力パターンを除去する。 しかし、2層トランスはルールを回復し(最多100%; 47/60収束実行)、回路抽出によりXOR計算が特定される。 精度は出力バイアス(63.1%)と一致し、ソフトアンローリングは96.7%に達する。 実験2では,1つの演算子ペアを持つ整数上のシンボリック演算子連鎖について検討する。 全ての49組のホールトアウトペアの中で、トランスフォーマーは全ての補間ベースライン(平均41.8%、平均78.6%、平均KRR 4.3%、KNNとMLPのスコア0%)を超え、中間段階の監督は性能を低下させる。 標準的なトランスフォーマーブロックが正確な局所ブール規則を実装可能であることを示す構成とともに、これらの結果は、トランスフォーマーがトレーニングで直接観察されていないルール構造を学習し、明示的に表現し、インターポーレーションのみのアカウントの最も強いアーキテクチャ形態を除外できることを示す。

関連論文リスト

• Align, Unify, Suppress, Route: A Coherentist View of Transformer Computation [0.0]
  コヒーレント主義の確率的構成主義は、コヒーレント主義の解釈理論における変圧器の計算を基礎としている。 5つのアーキテクチャファミリーの15モデルのうち、抑制、統一、ルーティングのウェイトスペースシグネチャは、保持されたアクティベーションレベルの役割尺度と相関する。 明示的な矛盾は14モデルにおいて階層的コヒーレンスプロキシを著しくシフトさせ、共有残差を除去した後、そのギャップは各モデルで予測される方向を持つ。
  論文  参考訳（メタデータ） (2026-08-22T16:29:20Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Grounding latent algorithm routing in transformer reasoning [2.3977651066739374]
  インダクティブバイアスの異なる家族を対象としたエピソードレベルの適応を,トランスフォーマーが構成できるかどうかを検討した。 ROUTEBENCHは,大域的縮小,疎度,頑健性,局所性を重視した診断ベンチマークである。 44M-612Mパラメータでスクラッチからトレーニングされた高密度デコーダのみのトランスフォーマーでは、306Mモデルがオラクルルーティングギャップの80.9%を閉じ、84.1のルートF1を達成する。
  論文  参考訳（メタデータ） (2026-07-27T14:07:12Z)
• Cross-Trajectory Chimera Interventions Reveal Dissociable Roles of Weight Magnitude and Direction in Grokking [0.0]
  単一軌道の介入は、実行中のポータビリティではなく、1回の実行内で必要であることを示している。 2つの異なる種から実行された場合、各重みベクトルをノルムと単位方向に分割し、一方のランのノルムを他方の方向に再結合し、トレーニングを継続する。
  論文  参考訳（メタデータ） (2026-07-07T12:12:43Z)
• Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
  Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。 Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。 多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
  論文  参考訳（メタデータ） (2026-05-27T15:17:06Z)
• When Rule Violations Are Rare: Chimera Training for Logical Anomaly Detection [56.362776482614976]
  本研究では,学習した視覚概念に対する制約を論理規則として与える環境での異常検出について検討する。 本稿では,各制約を有向非巡回グラフにコンパイルし,特徴認識サブツリーゲートを学習するニューラルルール評価器を提案する。 CLEVRER、OpenImages、VidOR全体で、結果として得られる評価は、独立イベントと同一イメージのセマンティックトレーニングベースラインよりもルールレベルのAUROCを改善する。
  論文  参考訳（メタデータ） (2026-05-25T02:52:36Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Empirical Falsification of Pairwise-Only Explanations for an Engineered Parity Benchmark on a 133-Qubit Superconducting Processor [0.0]
  本稿では,ペアワイズのみの説明と既約三階述語予測構造を区別する小型ハードウェア実験について報告する。 A1bプロトコルは、133量子ビットのIBM超伝導プロセッサ上にパリティ構造化されたバイナリラベルを実装している。
  論文  参考訳（メタデータ） (2026-03-20T22:24:41Z)
• Transformers Don't In-Context Learn Least Squares Regression [5.648229654902264]
  In-context Learning (ICL) は、大規模な事前学習型トランスフォーマーの強力な能力として登場した。 我々は、トランスフォーマーが推論時に学習をどのように実装するかを研究する。 ICLの行動形成におけるプレトレーニングコーパスの役割を強調した。
  論文  参考訳（メタデータ） (2025-07-13T01:09:26Z)
• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• Transformers Provably Solve Parity Efficiently with Chain of Thought [40.78854925996]
  この研究は、複雑な問題を解決するためのトレーニングトランスの最初の理論的解析を提供する。 我々は、基本的な$k$-parity問題を解くために、1層トランスを訓練することを検討する。
  論文  参考訳（メタデータ） (2024-10-11T08:55:17Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• The Parallelism Tradeoff: Limitations of Log-Precision Transformers [29.716269397142973]
  入力トークン数における算術精度が対数的である変換器は、定数深さの対数空間一様しきい値回路でシミュレートできることを示す。 これは、複雑性理論の既知の結果を用いた変圧器のパワーに関する洞察を与える。
  論文  参考訳（メタデータ） (2022-07-02T03:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。