論文の概要: Identify Then Project: Contrastive Learning of Latent Dynamics from Partial Observations with Port-Hamiltonian Structure
- arxiv url: http://arxiv.org/abs/2605.16682v1
- Date: Fri, 15 May 2026 22:39:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:46.908816
- Title: Identify Then Project: Contrastive Learning of Latent Dynamics from Partial Observations with Port-Hamiltonian Structure
- Title(参考訳): Identify Then Project: Port-Hamiltonian Structureによる部分観測からの潜在ダイナミクスのコントラスト学習
- Authors: Peilun Li, Kaiyuan Tan, Daniel Moyer, Thomas Beckers,
- Abstract要約: 本稿では,保守的・散逸的両方の力学を包含する構造クラスである潜在ポート・ハミルトン系の問題について検討する。
まず、コントラストのある教師は、部分的な観察から連続時間潜時ダイナミクスを学習する。
そして、学生は、同定された教師表現とダイナミクスを、学習されたアフィンチャートを介してポート-ハミルトン部分多様体に投影する。
- 参考スコア(独自算出の注目度): 2.1390318988752317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Identifying latent state representations and dynamics is essential when direct modeling in observation space is infeasible, particularly under partial and high-dimensional observations. In such settings, representation learning and physics-aware modeling are inherently coupled. We study this problem for latent port-Hamiltonian systems, a structured class encompassing both conservative and dissipative dynamics. We propose a two-stage identify-then-project framework. First, a contrastive teacher learns continuous-time latent dynamics from partial observations. Then, a student projects the identified teacher representation and dynamics onto a port-Hamiltonian submanifold via a learned affine chart, yielding a physically consistent realization. As a conceptual counterfactual, we also consider a single-stage variant that jointly learns latent identification and port-Hamiltonian structure, but find it to be less reliable, motivating the proposed two-stage teacher-student framework. We show theoretically that affine projection is the natural bridge between the affine gauge of contrastive latent identification and the port-Hamiltonian systems. Empirically, we demonstrate that the proposed two-stage approach preserves the teacher's dynamics while enforcing physical structure, and performs more reliably than the single-stage alternative, particularly in dissipative regimes and high-dimensional visual settings.
- Abstract(参考訳): 観測空間における直接モデリングが不可能な場合、特に部分的および高次元の観測において、潜伏状態の表現と力学の同定が不可欠である。
このような環境では、表現学習と物理認識モデリングが本質的に結合している。
我々はこの問題を、保守的および散逸的力学の両方を含む構造クラスである潜在ポート・ハミルトニアン系に対して研究する。
本稿では,2段階の個別プロジェクトフレームワークを提案する。
まず、コントラストのある教師は、部分的な観察から連続時間潜時ダイナミクスを学習する。
そして、学生は、同定された教師表現とダイナミクスを学習されたアフィンチャートを通してポート-ハミルトン部分多様体に投影し、物理的に一貫した実現をもたらす。
概念的反事実として、潜伏識別とポート・ハミルトン構造を共同で学習する単一段階の変種も検討するが、信頼性が低く、提案された2段階の教師・学生の枠組みを動機付けている。
理論的には、アフィン射影は、対照的な潜在同定のアフィンゲージとポート・ハミルトニアン系の間の自然なブリッジであることを示す。
実験により,提案した2段階のアプローチは,物理構造を強制しながら教師のダイナミクスを保ち,特に散逸状態や高次元の視覚的設定において,単段階の方法よりも信頼性が高いことを示した。
関連論文リスト
- "The Whole Is Greater Than the Sum of Its Parts": A Compatibility-Aware Multi-Teacher CoT Distillation Framework [16.96094045628127]
CoT(Chain-of-Thought)推論は、大きな言語モデル(LLM)に優れた能力を与えるが、通常は禁止的なパラメータスケールを必要とする。
CoT蒸留は、推論技術をコンパクトな学生モデル(SLM)に伝達するための有望なパラダイムとして登場した。
我々は,教師の勾配を動的に重み付けすることで,教師の指導を適応的に融合させるフレームワークCompactを紹介する。
論文 参考訳(メタデータ) (2026-01-20T14:05:19Z) - Understanding Catastrophic Interference: On the Identifibility of Latent Representations [67.05452287233122]
破滅的な干渉、あるいは破滅的な忘れ(Caastrophic forgetting)は、機械学習の根本的な課題である。
本稿では,破滅的干渉を識別問題として定式化する新しい理論枠組みを提案する。
我々のアプローチは、合成データセットとベンチマークデータセットの両方で理論的保証と実用的なパフォーマンスの改善を提供する。
論文 参考訳(メタデータ) (2025-09-27T00:53:32Z) - Patch-Level Kernel Alignment for Dense Self-Supervised Learning [7.5866326278176075]
Patch-level Kernel Alignment (PaKA) は、非パラメトリックなカーネルベースのアプローチで、事前学習した視覚エンコーダの高密度表現をポスト(pre)トレーニングで改善する。
本フレームワークは,事前学習モデル上に軽量な後学習段階を施すことにより,高密度表現を改善する。
1つのGPUで14時間追加のトレーニングを行うだけで、この手法は様々な高密度ビジョンベンチマークで最先端のパフォーマンスを達成することができる。
論文 参考訳(メタデータ) (2025-09-06T05:42:32Z) - Provably Learning Object-Centric Representations [25.152680199034215]
我々は、オブジェクト中心の表現がいつ、監督なしに確実に学習できるかを分析する。
そこで本研究では, 基本構造オブジェクト表現が可逆的, 構成的推論モデルによって識別可能であることを証明した。
我々は、既存の対象中心モデルに対して、我々の理論が予測力を持つ証拠を提供する。
論文 参考訳(メタデータ) (2023-05-23T16:44:49Z) - Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。
物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。
本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
論文 参考訳(メタデータ) (2023-04-25T15:53:45Z) - DyTed: Disentangled Representation Learning for Discrete-time Dynamic
Graph [59.583555454424]
離散時間動的グラフ、すなわちDyTedのための新しいディペンタングル表現学習フレームワークを提案する。
本研究では,時間不変の表現と時間変動の表現を効果的に識別する構造的コントラスト学習とともに,時間的クリップのコントラスト学習タスクを特別に設計する。
論文 参考訳(メタデータ) (2022-10-19T14:34:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。