論文の概要: Koopman Invariants as Drivers of Emergent Time-Series Clustering in Joint-Embedding Predictive Architectures
- arxiv url: http://arxiv.org/abs/2511.09783v1
- Date: Fri, 14 Nov 2025 01:09:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-14 22:53:22.48157
- Title: Koopman Invariants as Drivers of Emergent Time-Series Clustering in Joint-Embedding Predictive Architectures
- Title（参考訳）: 結合埋め込み予測アーキテクチャにおける創発的時系列クラスタリングのドライバとしてのクープマン不変量
- Authors: Pablo Ruiz-Morales, Dries Vanoost, Davy Pissoort, Mathias Verbeke,
- Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、その基盤となる動的システマティクスによって時系列データをクラスタする、説明のつかない能力を示す。
本稿では,JEPAの予測対象が暗黙的にシステムのクープマン作用素の不変部分空間を学習させるという仮説を,この現象の新たな理論的説明として提案する。
この研究はJEPAsの重要な振舞いを解き、現代の自己教師付き学習と動的システム理論の原則的なつながりを提供し、より堅牢で解釈可能な時系列モデルの設計を知らせる。
- 参考スコア（独自算出の注目度）: 0.03499870393443267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Joint-Embedding Predictive Architectures (JEPAs), a powerful class of self-supervised models, exhibit an unexplained ability to cluster time-series data by their underlying dynamical regimes. We propose a novel theoretical explanation for this phenomenon, hypothesizing that JEPA's predictive objective implicitly drives it to learn the invariant subspace of the system's Koopman operator. We prove that an idealized JEPA loss is minimized when the encoder represents the system's regime indicator functions, which are Koopman eigenfunctions. This theory was validated on synthetic data with known dynamics, demonstrating that constraining the JEPA's linear predictor to be a near-identity operator is the key inductive bias that forces the encoder to learn these invariants. We further discuss that this constraint is critical for selecting this interpretable solution from a class of mathematically equivalent but entangled optima, revealing the predictor's role in representation disentanglement. This work demystifies a key behavior of JEPAs, provides a principled connection between modern self-supervised learning and dynamical systems theory, and informs the design of more robust and interpretable time-series models.
- Abstract（参考訳）: 自己管理型の強力なクラスであるJEPA(Joint-Embedding Predictive Architectures)は、その基盤となる動的構造によって時系列データをクラスタリングする、説明のつかない能力を示す。
本稿では,JEPAの予測対象が暗黙的にシステムのクープマン作用素の不変部分空間を学習させるという仮説を,この現象の新たな理論的説明として提案する。
エンコーダがクープマン固有関数であるシステムの状態指示関数を表す場合、理想化されたJEPA損失が最小化されることを証明した。
この理論は、既知のダイナミクスを持つ合成データに基づいて検証され、JEPAの線形予測子をほぼ同一性演算子に制限することが、エンコーダにこれらの不変性を学ぶことを強制する重要な帰納バイアスであることを示した。
さらに、この制約は、数学的に等価だが絡み合ったオプティマのクラスからこの解釈可能な解を選択するために重要であり、表現の不絡みにおける予測者の役割を明らかにする。
この研究はJEPAsの重要な振舞いを解き、現代の自己教師付き学習と動的システム理論の原則的なつながりを提供し、より堅牢で解釈可能な時系列モデルの設計を知らせる。
関連論文リスト
- A Time-Series Foundation Model by Universal Delay Embedding [4.221753069966852]
本研究は,時系列予測に革命をもたらすための事前訓練された基礎モデルであるUniversal Delay Embedding (UDE)を紹介する。
観測データの動的表現としてのUDEは、ハンケル行列から2次元部分空間パッチを構成する。
特に、学習された動的表現とパッチからのクープマン作用素予測形式は例外的な解釈可能性を示す。
論文 参考訳（メタデータ） (2025-09-15T16:11:49Z) - Temporally Consistent Koopman Autoencoders for Forecasting Dynamical Systems [38.36312939874359]
時間的に一貫したクープマンオートエンコーダ(tcKAE)を導入する。
tcKAEは、限られたノイズの多いトレーニングデータであっても、正確な長期予測を生成する。
我々は、様々なテストケースにおいて、最先端のKAEモデルよりもtcKAEの優れた性能を実証的に示す。
論文 参考訳（メタデータ） (2024-03-19T00:48:25Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Supervised DKRC with Images for Offline System Identification [77.34726150561087]
現代の力学系はますます非線形で複雑なものになりつつある。
予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。
本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
論文 参考訳（メタデータ） (2021-09-06T04:39:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。