論文の概要: Beyond Attention: True Adaptive World Models via Spherical Kernel Operator

• arxiv url: http://arxiv.org/abs/2603.13263v1
• Date: Wed, 25 Feb 2026 21:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.244408
• Title: Beyond Attention: True Adaptive World Models via Spherical Kernel Operator
• Title（参考訳）: 注意を超えて:球形カーネル演算子による真の適応的世界モデル
• Authors: Vladimer Khasia,
• Abstract要約: 標準的な注意を置き換えるフレームワークであるSpherical Kernelを紹介します。 SKOは、エージェントの偏りのある観察周波数から真の環境遷移のダイナミクスを数学的に分離する。 経験的評価により、SKOは自己回帰言語モデリングにおいて、収束を著しく加速し、標準の注意ベースラインを上回ることが確認される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pursuit of world model based artificial intelligence has predominantly relied on projecting high-dimensional observations into parameterized latent spaces, wherein transition dynamics are subsequently learned. However, this conventional paradigm is mathematically flawed: it merely displaces the manifold learning problem into the latent space. When the underlying data distribution shifts, the latent manifold shifts accordingly, forcing the predictive operator to implicitly relearn the new topological structure. Furthermore, by classical approximation theory, positive operators like dot product attention inevitably suffer from the saturation phenomenon, permanently bottlenecking their predictive capacity and leaving them vulnerable to the curse of dimensionality. In this paper, we formulate a mathematically rigorous paradigm for world model construction by redefining the core predictive mechanism. Inspired by Ryan O'Dowd's foundational work we introduce Spherical Kernel Operator (SKO), a framework that replaces standard attention. By projecting the unknown data manifold onto a unified ambient hypersphere and utilizing a localized sequence of ultraspherical (Gegenbauer) polynomials, SKO performs direct integral reconstruction of the target function. Because this localized spherical polynomial kernel is not strictly positive, it bypasses the saturation phenomenon, yielding approximation error bounds that depend strictly on the intrinsic manifold dimension q, rather than the ambient dimension. Furthermore, by formalizing its unnormalized output as an authentic measure support estimator, SKO mathematically decouples the true environmental transition dynamics from the biased observation frequency of the agent. Empirical evaluations confirm that SKO significantly accelerates convergence and outperforms standard attention baselines in autoregressive language modeling.
• Abstract（参考訳）: 世界モデルに基づく人工知能の追求は、パラメータ化された潜在空間に高次元の観測を投影することに大きく依存しており、その後、遷移力学が学習される。 しかし、この従来のパラダイムは数学的に欠陥があり、単に多様体学習問題を潜在空間に置き換えるだけである。 基礎となるデータ分布がシフトすると、潜在多様体はそれに従ってシフトし、予測演算子に新しい位相構造を暗黙的に再学習させる。 さらに、古典的近似理論により、ドット積の注意のような正の作用素は、必然的に飽和現象に悩まされ、予測能力を永久にボトルネック化し、次元性の呪いに弱いままにしておく。 本稿では,コア予測機構を再定義することにより,世界モデル構築のための数学的に厳密なパラダイムを定式化する。 Ryan O'Dowd氏の基本的な研究に触発されて、標準の注意を置き換えるフレームワークであるSpherical Kernel Operator (SKO)を紹介しました。 未知のデータ多様体を統一された周囲超球面に投影し、超球面(ゲゲンバウアー)多項式の局所列を利用することにより、SKOは対象関数の直接積分再構成を行う。 この局所化された球面多項式核は厳密には正ではないので、飽和現象をバイパスし、周囲次元よりも内在多様体次元 q に厳密に依存する近似誤差境界を与える。 さらに、その非正規化出力を認証測度支援推定器として定式化することにより、SKOは、エージェントの偏りのある観測周波数から真の環境遷移ダイナミクスを数学的に分離する。 経験的評価により、SKOは自己回帰言語モデリングにおいて、収束を著しく加速し、標準の注意ベースラインを上回ることが確認される。

関連論文リスト

• Cohomological Obstructions to Global Counterfactuals: A Sheaf-Theoretic Foundation for Generative Causal Models [7.073238726507493]
  We formalize structure causal model as cellular sheaves over Wasserstein space。 トラクタビリティを確保するため,エントロピック正則化を導入し,エントロピック・ワッサーシュタイン・カウスタル・ラフ・ラプラシアンを導出する。 筆者らのフレームワークは熱力学ノイズを利用して高次元scRNA-seqカウンターファクトリーのトポロジカルバリアをナビゲートする。
  論文  参考訳（メタデータ） (2026-03-18T06:07:07Z)
• OMNIFLOW: A Physics-Grounded Multimodal Agent for Generalized Scientific Reasoning [51.33849811496781]
  大規模言語モデル (LLM) は例外的な論理的推論能力を示しているが、部分微分方程式 (PDE) による連続力学としばしば競合する。 OMNIFLOWは, 領域固有のパラメータ更新を必要とせず, 基本物理法則で凍結LDMを基底として設計したマルチモーダルシンボリックアーキテクチャである。 我々は, 微視的乱流, 理論的ナビエ・ストークス, マクロ的世界天気予報のベンチマークでこれを評価した。
  論文  参考訳（メタデータ） (2026-03-16T18:29:01Z)
• KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra [65.11254608352982]
  生成元をベースとしたニューラル・クープマン・フレームワークを導入し,構造的かつ状態に依存したクープマン・ジェネレータの表現を通じて動的にモデル化する。 固有のカルテス分解をスキュー結合および自己結合成分に利用することにより、KoopGenは可逆的な散逸から保守的な輸送を分離する。
  論文  参考訳（メタデータ） (2026-02-15T06:32:23Z)
• Parallel Complex Diffusion for Scalable Time Series Generation [50.01609741902786]
  PaCoDiは周波数領域における生成モデリングを分離するスペクトルネイティブアーキテクチャである。 本研究では,PaCoDiが生成品質と推論速度の両方において,既存のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:53Z)
• Spatially-informed transformers: Injecting geostatistical covariance biases into self-attention for spatio-temporal forecasting [0.0]
  本稿では,学習可能なコスタティクスカーネルを介して,地理的帰納バイアスを直接自己保持機構に注入するハイブリッドアーキテクチャを提案する。 本稿では,ネットワークがバックプロパゲーションによって下位プロセスの真の空間パラメータを復元する「Deep Variography'」現象を実証する。
  論文  参考訳（メタデータ） (2025-12-19T15:32:24Z)
• Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
  この記事は、一般状態空間上の拡散に関する自己完結プライマーである。 我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。 一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
  論文  参考訳（メタデータ） (2025-12-04T18:55:36Z)
• Differential-Integral Neural Operator for Long-Term Turbulence Forecasting [43.04613533979613]
  textbfunderlineDifferential-textbfunderlineIntegral textbfunderlineNeural textbfunderlineOperator (method) メソッドは、異なる物理演算子を学習する並列分岐による乱流進化を明示的にモデル化する。 数百のタイムステップにわたる誤差の蓄積をうまく抑制し、渦場とエネルギースペクトルの両方において高い忠実性を維持し、物理的に一貫した長距離乱流予測のための新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-09-25T14:08:26Z)
• A Time-Series Foundation Model by Universal Delay Embedding [4.221753069966852]
  本研究は,時系列予測に革命をもたらすための事前訓練された基礎モデルであるUniversal Delay Embedding (UDE)を紹介する。 観測データの動的表現としてのUDEは、ハンケル行列から2次元部分空間パッチを構成する。 特に、学習された動的表現とパッチからのクープマン作用素予測形式は例外的な解釈可能性を示す。
  論文  参考訳（メタデータ） (2025-09-15T16:11:49Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。