論文の概要: Beyond Attention: True Adaptive World Models via Spherical Kernel Operator

• arxiv url: http://arxiv.org/abs/2603.13263v1
• Date: Wed, 25 Feb 2026 21:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.244408
• Title: Beyond Attention: True Adaptive World Models via Spherical Kernel Operator
• Title（参考訳）: 注意を超えて:球形カーネル演算子による真の適応的世界モデル
• Abstract要約: 標準的な注意を置き換えるフレームワークであるSpherical Kernelを紹介します。 SKOは、エージェントの偏りのある観察周波数から真の環境遷移のダイナミクスを数学的に分離する。 経験的評価により、SKOは自己回帰言語モデリングにおいて、収束を著しく加速し、標準の注意ベースラインを上回ることが確認される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pursuit of world model based artificial intelligence has predominantly relied on projecting high-dimensional observations into parameterized latent spaces, wherein transition dynamics are subsequently learned. However, this conventional paradigm is mathematically flawed: it merely displaces the manifold learning problem into the latent space. When the underlying data distribution shifts, the latent manifold shifts accordingly, forcing the predictive operator to implicitly relearn the new topological structure. Furthermore, by classical approximation theory, positive operators like dot product attention inevitably suffer from the saturation phenomenon, permanently bottlenecking their predictive capacity and leaving them vulnerable to the curse of dimensionality. In this paper, we formulate a mathematically rigorous paradigm for world model construction by redefining the core predictive mechanism. Inspired by Ryan O'Dowd's foundational work we introduce Spherical Kernel Operator (SKO), a framework that replaces standard attention. By projecting the unknown data manifold onto a unified ambient hypersphere and utilizing a localized sequence of ultraspherical (Gegenbauer) polynomials, SKO performs direct integral reconstruction of the target function. Because this localized spherical polynomial kernel is not strictly positive, it bypasses the saturation phenomenon, yielding approximation error bounds that depend strictly on the intrinsic manifold dimension q, rather than the ambient dimension. Furthermore, by formalizing its unnormalized output as an authentic measure support estimator, SKO mathematically decouples the true environmental transition dynamics from the biased observation frequency of the agent. Empirical evaluations confirm that SKO significantly accelerates convergence and outperforms standard attention baselines in autoregressive language modeling.
• Abstract（参考訳）: 世界モデルに基づく人工知能の追求は、パラメータ化された潜在空間に高次元の観測を投影することに大きく依存しており、その後、遷移力学が学習される。 しかし、この従来のパラダイムは数学的に欠陥があり、単に多様体学習問題を潜在空間に置き換えるだけである。 基礎となるデータ分布がシフトすると、潜在多様体はそれに従ってシフトし、予測演算子に新しい位相構造を暗黙的に再学習させる。 さらに、古典的近似理論により、ドット積の注意のような正の作用素は、必然的に飽和現象に悩まされ、予測能力を永久にボトルネック化し、次元性の呪いに弱いままにしておく。 本稿では,コア予測機構を再定義することにより,世界モデル構築のための数学的に厳密なパラダイムを定式化する。 Ryan O'Dowd氏の基本的な研究に触発されて、標準の注意を置き換えるフレームワークであるSpherical Kernel Operator (SKO)を紹介しました。 未知のデータ多様体を統一された周囲超球面に投影し、超球面(ゲゲンバウアー)多項式の局所列を利用することにより、SKOは対象関数の直接積分再構成を行う。 この局所化された球面多項式核は厳密には正ではないので、飽和現象をバイパスし、周囲次元よりも内在多様体次元 q に厳密に依存する近似誤差境界を与える。 さらに、その非正規化出力を認証測度支援推定器として定式化することにより、SKOは、エージェントの偏りのある観測周波数から真の環境遷移ダイナミクスを数学的に分離する。 経験的評価により、SKOは自己回帰言語モデリングにおいて、収束を著しく加速し、標準の注意ベースラインを上回ることが確認される。

関連論文リスト

• DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer [86.4618122245946]
  DyG$2$Tは動的モデリングフレームワークで、キーポイント表現を空間的に完了し、時間的に識別することでオブジェクトの運動軌跡を推定する。 合成データセットと実世界のデータセットの両方の実験は、DyG$2$Tが正確な動的モデリングと推論を実現することを示した。
  論文  参考訳（メタデータ） (2026-08-19T03:44:28Z)
• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• Learning Spatio-Temporal Foundation Models from Pure Synthetic Data [85.23980441738811]
  NeoSTは、現実バイアスに対するスケーラブルな合成学習コーパスであり、複数の将来の軌跡を反復的に生成・洗練する潜在空間推論アーキテクチャであり、構造的ダイナミクスを強調し、分散シフトの下で推論時間補正を可能にする潜在空間目的である。 様々な実世界のベンチマークによる大規模な実験は、NeoSTが様々な実世界の時間系において既存のSTFMより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2026-06-27T02:56:46Z)
• Robust Neural Tucker Factorization with Bias Correction and Adaptive Initialization [1.104960878651584]
  高次元不完全テンソル(HDI)は交通や気候の用途で広く用いられているが、スパース観測は正確な完成を困難にしている。 本稿では,HDIテンソル完成のためのカイミング初期化とバイアス補正(KaBiN)を併用した,単純かつ効果的なニューラルタッカー因数分解モデルを提案する。 3つの実世界のHDIテンソルデータセットの実験では、KaBiNは計算オーバーヘッドを最小限に抑えつつ、元のNeuTucFよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-06-15T08:17:52Z)
• Nonlocal Bayesian Modeling of Continuous Spatio-Temporal Dynamics [9.926231893220061]
  本研究では,非局所結合を学習し,抽出可能な推論を保ちながら,非局所結合を学習する連続時間場のための原理的非局所S-NLモデル(BST)を提案する。 NLBSTは座標ベースの空間基底展開を通して潜時場を表し、連続時間ODEで逐次過程をモデル化する。 線形Gssianau観測モデルでは,不規則かつ不規則な観測下でのカルマンシア式逐次スパルス更新が可能であり,空間基底表現では,再学習することなく非測定位置での帰納的予測が可能となる。
  論文  参考訳（メタデータ） (2026-06-12T09:51:07Z)
• Cohomological Obstructions to Global Counterfactuals: A Sheaf-Theoretic Foundation for Generative Causal Models [7.073238726507493]
  We formalize structure causal model as cellular sheaves over Wasserstein space。 トラクタビリティを確保するため,エントロピック正則化を導入し,エントロピック・ワッサーシュタイン・カウスタル・ラフ・ラプラシアンを導出する。 筆者らのフレームワークは熱力学ノイズを利用して高次元scRNA-seqカウンターファクトリーのトポロジカルバリアをナビゲートする。
  論文  参考訳（メタデータ） (2026-03-18T06:07:07Z)
• OMNIFLOW: A Physics-Grounded Multimodal Agent for Generalized Scientific Reasoning [51.33849811496781]
  大規模言語モデル (LLM) は例外的な論理的推論能力を示しているが、部分微分方程式 (PDE) による連続力学としばしば競合する。 OMNIFLOWは, 領域固有のパラメータ更新を必要とせず, 基本物理法則で凍結LDMを基底として設計したマルチモーダルシンボリックアーキテクチャである。 我々は, 微視的乱流, 理論的ナビエ・ストークス, マクロ的世界天気予報のベンチマークでこれを評価した。
  論文  参考訳（メタデータ） (2026-03-16T18:29:01Z)
• KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra [65.11254608352982]
  生成元をベースとしたニューラル・クープマン・フレームワークを導入し,構造的かつ状態に依存したクープマン・ジェネレータの表現を通じて動的にモデル化する。 固有のカルテス分解をスキュー結合および自己結合成分に利用することにより、KoopGenは可逆的な散逸から保守的な輸送を分離する。
  論文  参考訳（メタデータ） (2026-02-15T06:32:23Z)
• Parallel Complex Diffusion for Scalable Time Series Generation [50.01609741902786]
  PaCoDiは周波数領域における生成モデリングを分離するスペクトルネイティブアーキテクチャである。 本研究では,PaCoDiが生成品質と推論速度の両方において,既存のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:53Z)
• Spatially-informed transformers: Injecting geostatistical covariance biases into self-attention for spatio-temporal forecasting [0.0]
  本稿では,学習可能なコスタティクスカーネルを介して,地理的帰納バイアスを直接自己保持機構に注入するハイブリッドアーキテクチャを提案する。 本稿では,ネットワークがバックプロパゲーションによって下位プロセスの真の空間パラメータを復元する「Deep Variography'」現象を実証する。
  論文  参考訳（メタデータ） (2025-12-19T15:32:24Z)
• Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
  この記事は、一般状態空間上の拡散に関する自己完結プライマーである。 我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。 一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
  論文  参考訳（メタデータ） (2025-12-04T18:55:36Z)
• Differential-Integral Neural Operator for Long-Term Turbulence Forecasting [43.04613533979613]
  textbfunderlineDifferential-textbfunderlineIntegral textbfunderlineNeural textbfunderlineOperator (method) メソッドは、異なる物理演算子を学習する並列分岐による乱流進化を明示的にモデル化する。 数百のタイムステップにわたる誤差の蓄積をうまく抑制し、渦場とエネルギースペクトルの両方において高い忠実性を維持し、物理的に一貫した長距離乱流予測のための新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-09-25T14:08:26Z)
• A Time-Series Foundation Model by Universal Delay Embedding [4.221753069966852]
  本研究は,時系列予測に革命をもたらすための事前訓練された基礎モデルであるUniversal Delay Embedding (UDE)を紹介する。 観測データの動的表現としてのUDEは、ハンケル行列から2次元部分空間パッチを構成する。 特に、学習された動的表現とパッチからのクープマン作用素予測形式は例外的な解釈可能性を示す。
  論文  参考訳（メタデータ） (2025-09-15T16:11:49Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。