論文の概要: Separable neural architectures as a primitive for unified predictive and generative intelligence
- arxiv url: http://arxiv.org/abs/2603.12244v1
- Date: Thu, 12 Mar 2026 17:56:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:26.279234
- Title: Separable neural architectures as a primitive for unified predictive and generative intelligence
- Title（参考訳）: 統合予測・生成知能のプリミティブとしての分離型ニューラルアーキテクチャ
- Authors: Reza T. Batley, Apurba Sarker, Rajib Mostakim, Andrew Klichine, Sourav Saha,
- Abstract要約: 我々は、加法モデル、二次モデル、テンソル分解モデルを統合する表現クラスを定式化する。
SNAは、高次元の高分解成分への写像を分解する構造的帰納バイアスを課す。
これらの結果は、予測および生成知能のドメインに依存しないプリミティブとして分離可能なニューラルアーキテクチャを確立する。
- 参考スコア（独自算出の注目度）: 0.7318787399845128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intelligent systems across physics, language and perception often exhibit factorisable structure, yet are typically modelled by monolithic neural architectures that do not explicitly exploit this structure. The separable neural architecture (SNA) addresses this by formalising a representational class that unifies additive, quadratic and tensor-decomposed neural models. By constraining interaction order and tensor rank, SNAs impose a structural inductive bias that factorises high-dimensional mappings into low-arity components. Separability need not be a property of the system itself: it often emerges in the coordinates or representations through which the system is expressed. Crucially, this coordinate-aware formulation reveals a structural analogy between chaotic spatiotemporal dynamics and linguistic autoregression. By treating continuous physical states as smooth, separable embeddings, SNAs enable distributional modelling of chaotic systems. This approach mitigates the nonphysical drift characteristics of deterministic operators whilst remaining applicable to discrete sequences. The compositional versatility of this approach is demonstrated across four domains: autonomous waypoint navigation via reinforcement learning, inverse generation of multifunctional microstructures, distributional modelling of turbulent flow and neural language modelling. These results establish the separable neural architecture as a domain-agnostic primitive for predictive and generative intelligence, capable of unifying both deterministic and distributional representations.
- Abstract（参考訳）: 物理、言語、知覚にまたがるインテリジェントなシステムは、しばしば分解可能な構造を示すが、典型的にはこの構造を明示的に利用しないモノリシックニューラルネットワークアーキテクチャによってモデル化される。
分離可能なニューラルアーキテクチャ(SNA)は、加法的、二次的、テンソル分解されたニューラルモデルを統一する表現クラスを定式化することによって、この問題に対処する。
相互作用順序とテンソルランクの制約により、SNAは高次元を低アリティ成分に分解する構造的帰納バイアスを課す。
分離性はシステム自体の特性である必要はなく、しばしば、システムが表現される座標や表現に現れる。
この座標を意識した定式化は、カオス時空間力学と言語的自己回帰の間の構造的類似性を明らかにする。
連続的な物理的状態を滑らかで分離可能な埋め込みとして扱うことにより、SNAはカオスシステムの分散モデリングを可能にする。
このアプローチは、決定論的作用素の非物理的ドリフト特性を緩和するが、離散列には適用できない。
このアプローチの構成的汎用性は、強化学習による自律的ウェイポイントナビゲーション、多機能構造の逆生成、乱流の分布モデリング、ニューラルネットワークモデリングの4つの領域にまたがる。
これらの結果は、予測的および生成的知性のためのドメインに依存しないプリミティブとして分離可能なニューラルアーキテクチャを確立し、決定論的および分布的表現を統一することができる。
関連論文リスト
- Deep Neural Networks as Iterated Function Systems and a Generalization Bound [2.7920304852537536]
2つの重要なディープアーキテクチャは、場所に依存したIFSとみなすことができるか、あるいは正統に関連付けられるかを示す。
データ分布と画像間のコラージュ型近似誤差を制御する生成モデリングのためのワッサーシュタイン境界を導出する。
論文 参考訳（メタデータ） (2026-01-27T07:32:49Z) - Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。
局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。
この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
論文 参考訳（メタデータ） (2025-05-11T17:44:14Z) - Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文 参考訳（メタデータ） (2023-10-03T05:40:56Z) - A Constructive Approach to Function Realization by Neural Stochastic
Differential Equations [8.04975023021212]
システム力学における構造的制約を導入し、そのようなシステムで実現可能な関数のクラスを特徴付ける。
これらのシステムは、ニューラル微分方程式(ニューラルSDE)、決定論的力学系、読み出しマップのカスケード相互接続として実装される。
論文 参考訳（メタデータ） (2023-07-01T03:44:46Z) - Stretched and measured neural predictions of complex network dynamics [2.1024950052120417]
微分方程式のデータ駆動近似は、力学系のモデルを明らかにする従来の方法に代わる有望な方法である。
最近、ダイナミックスを研究する機械学習ツールとしてニューラルネットワークが採用されている。これは、データ駆動型ソリューションの検出や微分方程式の発見に使用できる。
従来の統計学習理論の限界を超えてモデルの一般化可能性を拡張することは可能であることを示す。
論文 参考訳（メタデータ） (2023-01-12T09:44:59Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。
NSRは神経知覚、構文解析、意味推論を統合している。
我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文 参考訳（メタデータ） (2022-10-04T13:27:38Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Modeling Structure with Undirected Neural Networks [20.506232306308977]
任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。
さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
論文 参考訳（メタデータ） (2022-02-08T10:06:51Z) - Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。
畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
論文 参考訳（メタデータ） (2020-10-22T09:10:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。