論文の概要: Natural Building Blocks for Structured World Models: Theory, Evidence, and Scaling

• arxiv url: http://arxiv.org/abs/2511.02091v1
• Date: Mon, 03 Nov 2025 22:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.692633
• Title: Natural Building Blocks for Structured World Models: Theory, Evidence, and Scaling
• Title（参考訳）: 構造的世界モデルのための自然建築ブロック:理論、エビデンス、スケーリング
• Authors: Lancelot Da Costa, Sanjeev Namjoshi, Mohammed Abbas Ansari, Bernhard Schölkopf,
• Abstract要約: 本研究では,構造化世界モデルの自然構築ブロックを規定するフレームワークを提案する。 本研究では,隠れマルコフモデル (HMM) と線形切替力学系 (sLDS) を離散的・連続的モデリングのための自然な構築ブロックとして検討する。 このモジュラーアプローチは、受動的モデリング(生成、予測)と、同じアーキテクチャ内のアクティブコントロール(計画、意思決定)の両方をサポートする。
• 参考スコア（独自算出の注目度）: 42.78591555984395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of world modeling is fragmented, with researchers developing bespoke architectures that rarely build upon each other. We propose a framework that specifies the natural building blocks for structured world models based on the fundamental stochastic processes that any world model must capture: discrete processes (logic, symbols) and continuous processes (physics, dynamics); the world model is then defined by the hierarchical composition of these building blocks. We examine Hidden Markov Models (HMMs) and switching linear dynamical systems (sLDS) as natural building blocks for discrete and continuous modeling--which become partially-observable Markov decision processes (POMDPs) and controlled sLDS when augmented with actions. This modular approach supports both passive modeling (generation, forecasting) and active control (planning, decision-making) within the same architecture. We avoid the combinatorial explosion of traditional structure learning by largely fixing the causal architecture and searching over only four depth parameters. We review practical expressiveness through multimodal generative modeling (passive) and planning from pixels (active), with performance competitive to neural approaches while maintaining interpretability. The core outstanding challenge is scalable joint structure-parameter learning; current methods finesse this by cleverly growing structure and parameters incrementally, but are limited in their scalability. If solved, these natural building blocks could provide foundational infrastructure for world modeling, analogous to how standardized layers enabled progress in deep learning.
• Abstract（参考訳）: 世界モデリングの分野は断片化されており、研究者は互いに構築されることが滅多にない疎外的なアーキテクチャを開発している。 本稿では,任意の世界モデルが捉えなければならない基本確率過程に基づいて,構造化世界モデルの自然構築ブロックを規定するフレームワークを提案する。 隠れマルコフモデル (HMM) と線形力学系 (sLDS) を離散的かつ連続的なモデリングのための自然な構成ブロックとして検討し、これは部分的に観測可能なマルコフ決定プロセス (POMDP) となり、アクションを付加すると制御されたsLDSとなる。 このモジュラーアプローチは、受動的モデリング(生成、予測)と、同じアーキテクチャ内のアクティブコントロール(計画、意思決定)の両方をサポートする。 我々は従来の構造学習の組合せ的爆発を避けるために、因果構造を大半を固定し、4つの深さパラメータのみを探索する。 我々は,多モード生成モデル(パッシブ)と画素からの計画(アクティブ)による実用的な表現性を,解釈可能性を維持しつつ,ニューラルアプローチと競合する性能で検証する。 現在の方法は、巧妙に成長する構造とパラメータによってこれを微調整するが、スケーラビリティには制限がある。 もし解決すれば、これらの自然なビルディングブロックは、ディープラーニングの進歩を可能にする標準化されたレイヤと類似した、世界モデリングの基盤となるインフラを提供することができる。

関連論文リスト

• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate [1.0152838128195467]
  大規模言語モデル(LLM)をスケールするための一般的なパラダイムは、モノリシックなエンドツーエンドのトレーニングである。 本稿では,トランスフォーマーにおける創発的意味論の原理によって実現された,代替的,建設的なスケーリングパラダイムについて考察する。 私たちはこれを、初期段階の厳密な層凍結とモデルスタック全体の効率的で総合的な微調整を組み合わせた、階層的に構築的な手法で運用します。
  論文  参考訳（メタデータ） (2025-07-08T20:01:15Z)
• Information-Theoretic Framework for Understanding Modern Machine-Learning [4.435094091999926]
  本稿では,学習をログ損失下での普遍的な予測とみなす情報理論フレームワークを提案する。 成功するアーキテクチャは幅広い複雑さの範囲を持ち、高度に過度にパラメータ化されたモデルクラスでの学習を可能にしている、と我々は主張する。 この枠組みは、誘導バイアスの役割、降下勾配の効果、および平坦なミニマのような現象に光を当てている。
  論文  参考訳（メタデータ） (2025-06-09T11:32:31Z)
• Learning to Walk from Three Minutes of Real-World Data with Semi-structured Dynamics Models [9.318262213262866]
  コンタクトリッチシステムのための半構造化力学モデルを学習するための新しいフレームワークを提案する。 我々は,従来の手法よりもはるかに少ないデータで高精度な長距離予測を行う。 実世界のUnitree Go1四足歩行ロボットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2024-10-11T18:11:21Z)
• Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes [4.787059527893628]
  本稿では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。 提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。
  論文  参考訳（メタデータ） (2024-09-18T14:49:25Z)
• Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
  LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。 各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。 検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
  論文  参考訳（メタデータ） (2024-09-04T17:01:02Z)
• Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
  我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。 物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。 本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
  論文  参考訳（メタデータ） (2023-04-25T15:53:45Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。