論文の概要: Spatial Induction Heads: In-Context Learning of Multidimensional Cellular Automata

• arxiv url: http://arxiv.org/abs/2610.09124v1
• Date: Tue, 06 Oct 2026 21:16:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.60952
• Title: Spatial Induction Heads: In-Context Learning of Multidimensional Cellular Automata
• Title（参考訳）: 空間誘導ヘッド:多次元セルオートマタの文脈学習
• Abstract要約: 多次元データでは、直列化はトークン列内の遠い位置を散乱することでこの仮定を破る。 本稿では,第1層が空間近傍を再構成する空間誘導ヘッドと2層集束整流回路を導入する。 空間的ルーティングに必要な位置寸法は、グリッド体積や軌道水平線ではなく、局所的近傍と空間的次元にのみ依存することを示す。 経験的に、トレーニングされた2層トランスフォーマーは、1次元と2次元の設定で見つからない規則を一般化し、ベイズ最適予測器からほぼ完璧なロールアウトと0.005ナット未満のKLを達成する。
• 参考スコア（独自算出の注目度）: 9.317235773919204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Induction heads provide a mechanistic account of in-context learning in sequential data, but existing theory largely assumes that the context relevant to a prediction forms a contiguous block. In multidimensional data, serialization breaks this assumption by scattering spatial neighbors across distant positions in the token sequence. We study how transformers overcome this routing problem in multidimensional stochastic and deterministic cellular automata, where each trajectory is generated by an unknown local rule and presented as a flattened sequence without an explicit coordinate-based spatial inductive bias. We introduce spatial induction heads, two-layer gather-and-match circuits in which the first layer reconstructs the relevant spatial neighborhood and the second matches the resulting configuration against earlier occurrences. We give two explicit realizations of the gather and show that the positional dimension required for spatial routing depends only on the local neighborhood and spatial dimension, not on grid volume or trajectory horizon. We further construct a matching layer which implements Bayesian counting. The end-to-end circuit can approximate the Bayesian posterior arbitrarily closely for stochastic rules and can predict exactly for deterministic rules. Empirically, trained two-layer transformers generalize to unseen rules in one and two dimensional settings, achieving near-perfect deterministic rollouts and less than 0.005 nats KL from the Bayes-optimal predictor on stochastic rules. Attention patterns and layerwise probes align with the predicted gather-and-match computation, providing mechanistic evidence for spatial induction in trained transformers.
• Abstract（参考訳）: 誘導ヘッドは、逐次データにおける文脈内学習の力学的な説明を提供するが、既存の理論では、予測に関連するコンテキストが連続ブロックを形成すると仮定している。 多次元データでは、直列化はこの仮定をトークン列内の離れた位置を散乱することで破る。 本研究では,多次元確率的・決定論的セルオートマトンにおいて,各軌道は未知の局所規則により生成され,明確な座標に基づく空間帰納バイアスを伴わずに平坦なシーケンスとして提示される。 本稿では,空間誘導ヘッドと,第1層が関連する空間近傍を再構成し,第2層が先行する構成と一致した2層集積整合回路を導入する。 集合の2つの明示的な認識を与え、空間的ルーティングに必要な位置次元は、グリッド体積や軌道水平線ではなく、局所的な近傍と空間次元にのみ依存することを示す。 さらにベイズカウントを実装したマッチング層を構築する。 エンド・ツー・エンドの回路は、確率的規則に対してベイズ的後続規則を任意に近似することができ、決定論的規則に対して正確に予測することができる。 経験的に、トレーニングされた2層トランスフォーマーは、1次元と2次元の設定で見当たらない規則に一般化し、ほぼ完全な決定論的ロールアウトを達成し、ベイズ最適化予測器から確率的ルールの0.005ナット未満のKLを達成する。 注意パターンとレイヤワイズプローブは予測された集合・マッチ計算と一致し、訓練されたトランスフォーマーにおける空間誘導の力学的証拠を提供する。

関連論文リスト

• Predicting When Random Low-Dimensional Reparameterizations Train Neural Networks [3.980892205755342]
  本稿では、曲率スペクトルと基準解の変位プロファイルの両方からランダムスライス残差を予測できる配向分解2次マスター式を提案する。 次にRandom Mapping Networks (RaMaN)を導入し, 予測潜在次元を, 構造化アダマールあるいはシード再生ガウス写像を用いてインスタンス化する。 RaMaNは、測定された遷移位置を追尾し、変位方向が重要となるとき、向きに依存しない近似を上回ります。
  論文  参考訳（メタデータ） (2026-08-12T21:09:54Z)
• Grid-World Representations in Transformers Reflect Predictive Geometry [0.0]
  次世代予測器は、しばしば潜伏世界の内部表現とその規則を発達させる。 ランダムウォークの正確な分布からサンプリングしたベクトルに対してデコーダのみの変換器を訓練する。 モデルと層をまたいで、学習された表現は基底真実の予測ベクトルと強く一致し、しばしば低次元である。 単純化された玩具システムで実証されているが、最適予測を支持する接頭辞表現は、ニューラルネットワークが文法やその他の構造的制約を内部化する方法を研究する上で有用なレンズとなる可能性がある。
  論文  参考訳（メタデータ） (2026-03-17T15:47:33Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Thinner Latent Spaces: Detecting Dimension and Imposing Invariance with Conformal Autoencoders [8.743941823307967]
  ネットワークの潜在層内の直交関係を利用して、非線形多様体データセットの内在次元性を推定できることを示す。 微分幾何学に依拠する関係理論を概説し、対応する勾配偏光最適化アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2024-08-28T20:56:35Z)
• Intrinsic dimension estimation for discrete metrics [65.5438227932088]
  本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。 我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。 このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
  論文  参考訳（メタデータ） (2022-07-20T06:38:36Z)
• Information Entropy Initialized Concrete Autoencoder for Optimal Sensor Placement and Reconstruction of Geophysical Fields [58.720142291102135]
  そこで本稿では,スパーク計測による地場再構成のためのセンサ配置の最適化について提案する。 本研究では, (a) 温度と (b) バレンツ海周辺の塩分濃度場とスバルバルド諸島群を例に示す。 得られた最適センサ位置は, 物理的解釈が明確であり, 海流の境界に対応することが判明した。
  論文  参考訳（メタデータ） (2022-06-28T12:43:38Z)
• Manifold learning-based polynomial chaos expansions for high-dimensional surrogate models [0.0]
  システム記述における不確実性定量化(UQ)のための多様体学習に基づく手法を提案する。 提案手法は高精度な近似を達成でき、UQタスクの大幅な高速化につながる。
  論文  参考訳（メタデータ） (2021-07-21T00:24:15Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)
• Quaternion Equivariant Capsule Networks for 3D Point Clouds [58.566467950463306]
  本稿では,3次元回転と翻訳に同値な点雲を処理するための3次元カプセルモジュールを提案する。 カプセル間の動的ルーティングをよく知られたWeiszfeldアルゴリズムに接続する。 オペレーターに基づいて、ポーズから幾何学をアンタングルするカプセルネットワークを構築します。
  論文  参考訳（メタデータ） (2019-12-27T13:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。