論文の概要: SJEPA: Learning Elegant Latent Dynamics with Hybrid Symbolic-Neural Predictors
- arxiv url: http://arxiv.org/abs/2608.04060v1
- Date: Tue, 04 Aug 2026 13:08:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.519937
- Title: SJEPA: Learning Elegant Latent Dynamics with Hybrid Symbolic-Neural Predictors
- Title(参考訳): SJEPA:ハイブリッド・シンボリック・ニューラル予測器を用いたエレガント遅延ダイナミクスの学習
- Abstract要約: SJEPA(Restruction-free JEPA framework)は、動的に誘導される表現がコンパクトな記号記述を許容する予測表現を学習するフレームワークである。
我々は、この原理を誘導力学の複雑さを通じて定式化し、予測座標の非識別性を解析し、制約のない演算子圧縮が崩壊を表現するために直接ショートカットを生成することを示す。
その結果, 予測忠実度, 表現品質, シンボリック・パシモニー, シンボリック・ニューラルアロケーション間の制御可能なトレードオフが明らかになった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Joint-embedding predictive architectures learn abstract states by predicting target embeddings from context embeddings, but their transition models are typically opaque neural maps. We introduce SJEPA, a reconstruction-free JEPA framework that learns predictive representations whose induced dynamics admit compact symbolic descriptions. Its hybrid transition combines a symbolic law with a regularised neural correction for dynamics outside the selected grammar. The central principle is to learn the simplest adequate dynamics: representation constraints preserve informative, non-collapsed predictive coordinates, while operator compression favours low-complexity symbolic-neural transitions that remain predictively adequate. We formalise this principle through induced-dynamics complexity, analyse predictive-coordinate non-identifiability, and show that unconstrained operator compression creates a direct shortcut to representation collapse. The framework supports both alternating representation-equation learning and symbolic dynamics fitted to fixed representations. In controlled pendulum experiments, joint learning discovers substantially simpler symbolic dynamics with lower long-horizon rollout error and divergence than post-hoc fitting, while an unconstrained one-step diagnostic realises the predicted collapse shortcut. Under grammar misspecification, correction regularisation preserves the representable symbolic mechanism and directs the neural component towards residual dynamics. The results expose a controllable trade-off among predictive fidelity, representation quality, symbolic parsimony, and symbolic-neural allocation.
- Abstract(参考訳): 統合埋め込み予測アーキテクチャは、コンテキスト埋め込みからターゲット埋め込みを予測することによって抽象状態を学ぶが、それらの遷移モデルは典型的には不透明なニューラルマップである。
SJEPA(Restruction-free JEPA framework)は、動的に誘導される表現がコンパクトな記号記述を許容する予測表現を学習するフレームワークである。
そのハイブリッド遷移は記号法則と選択した文法の外側の力学の規則化されたニューラル補正を組み合わせたものである。
表現制約は情報的、非崩壊的な予測座標を保ち、演算子圧縮は予測的に適切な低複雑さのシンボリック・ニューラル遷移を好んでいる。
我々は、この原理を誘導力学の複雑さを通じて定式化し、予測座標の非識別性を解析し、制約のない演算子圧縮が崩壊を表現するために直接ショートカットを生成することを示す。
このフレームワークは、表現方程式の交互学習と、固定表現に適合する記号力学の両方をサポートする。
制御された振り子実験において、ジョイントラーニングは、長い水平ロールアウト誤差が低いことと、ポストホックフィッティングよりもばらつきがあるという、かなり単純な記号力学を発見し、一方、制約のない1段階の診断では、予測された崩壊ショートカットが実現される。
文法的不特定の下では、補正正則化は表現可能な記号機構を保持し、神経成分を残留力学に向ける。
その結果, 予測忠実度, 表現品質, シンボリック・パシモニー, シンボリック・ニューラルアロケーション間の制御可能なトレードオフが明らかになった。
関連論文リスト
- Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。
そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。
制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
論文 参考訳(メタデータ) (2026-08-20T13:59:57Z) - OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems [9.896592650796077]
ハイブリッドモデリングは、所定のまたは象徴的な物理ベースのコンポーネントと柔軟なニューラルネットワークを組み合わせることで、両方の世界の最高のものを目指している。
OrthoRegは、シンボリック・コンポーネントとニューラル・コンポーネントの重複を罰し、ニューラル・残基によってシンボリック・構造が吸収されるのを防ぐ。
部分的なライブラリミスマッチを持つベンチマーク動的システムでは、OrthoRegはシンボリックリカバリとアウト・オブ・ディストリビューションの振る舞いを改善している。
論文 参考訳(メタデータ) (2026-06-17T14:48:10Z) - Bias Inheritance in Neural-Symbolic Discovery of Constitutive Closures Under Function-Class Mismatch [1.6249267147413524]
PDE構造を持つ非線形反応拡散系における閉包のデータの駆動的発見について検討する。
物理的制約下で数値的代理を学習し、これらの代理を制限可能な記号族に圧縮し、未知の初期条件で明示的な前方シミュレーションによってシンボル的クロージャを検証する3段階のニューラルネットワーク・シンボリック・フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-01T19:39:04Z) - Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning [0.19999259391104388]
シンボリック・コルモゴロフ・アルノルドネットワーク(シンボリック・カン)を紹介する。
シンボリック・カンは訓練可能な深層ネットワークに直接離散的なシンボル構造を埋め込む。
そこで,Symbolic-KANはデータ駆動回帰および逆力学系において,正しい原始項と規則構造を確実に回復することを示す。
論文 参考訳(メタデータ) (2026-03-25T02:31:13Z) - KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra [65.11254608352982]
生成元をベースとしたニューラル・クープマン・フレームワークを導入し,構造的かつ状態に依存したクープマン・ジェネレータの表現を通じて動的にモデル化する。
固有のカルテス分解をスキュー結合および自己結合成分に利用することにより、KoopGenは可逆的な散逸から保守的な輸送を分離する。
論文 参考訳(メタデータ) (2026-02-15T06:32:23Z) - A Minimal Task Reveals Emergent Path Integration and Object-Location Binding in a Predictive Sequence Model [0.0]
行動条件付き逐次予測は「世界モデル」を学習するのに十分であることを示す。
我々は、現在の入力とササードのような変位から次のトークンを予測するために、リカレントニューラルネットワークを訓練する。
復号化解析は、トークンアイデンティティの位置への経路統合と動的結合を明らかにする。
論文 参考訳(メタデータ) (2026-02-03T13:08:27Z) - Softly Symbolifying Kolmogorov-Arnold Networks [0.0]
Kolmogorov-Arnold Networks (KAN)は、解釈可能な機械学習への有望な道を提供する。
我々は,シンボルプリミティブを直接トレーニングに統合するソフトシンボル付きコルモゴロフ・アルノルドネットワーク(S2KAN)を提案する。
シンボリックベンチマーク、動的システム予測、実世界の予測タスクにおいて、かなり小さなモデルで競合的または優れた精度を実証する。
論文 参考訳(メタデータ) (2025-11-27T07:03:38Z) - Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。
ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
論文 参考訳(メタデータ) (2025-06-26T22:40:30Z) - Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文 参考訳(メタデータ) (2023-10-03T05:40:56Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2021-11-29T18:59:09Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。