論文の概要: Continuous Limits of Coupled Flows in Representation Learning
- arxiv url: http://arxiv.org/abs/2604.16801v1
- Date: Sat, 18 Apr 2026 03:19:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.179936
- Title: Continuous Limits of Coupled Flows in Representation Learning
- Title(参考訳): 表現学習における連成流れの連続的限界
- Authors: Zilin Li, Weiwei Xu, Xuchun Tong, Xuanbo Lu, Xuanqi Zhao,
- Abstract要約: 局所的な相互作用によって駆動される分散アルゴリズムは、グローバルエラー信号の基本的な代替手段を提供する。
我々は、分散学習を緩やかな力学系として形式化し、このギャップを埋める。
我々のフレームワークは、離散アルゴリズムを連続解析でブリッジし、分散表現学習のための公式な理論ベースラインを提供する。
- 参考スコア(独自算出の注目度): 13.704592299911157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While modern representation learning relies heavily on global error signals, decentralized algorithms driven by local interactions offer a fundamental distributed alternative. However, the macroscopic convergence properties of these discrete dynamics on continuous data manifolds remain theoretically unresolved, notoriously suffering from parameter explosion. We bridge this gap by formalizing decentralized learning as a coupled slow-fast dynamical system on Riemannian manifolds. First, using measure-theoretic limits, we prove that the discrete spatial transitions converge uniformly to an overdamped Langevin stochastic differential equation. Second, via the Itô-Poisson resolvent and a stochastic extension of LaSalle's Invariance Principle, we establish that the representation weights unconditionally avoid divergence and align strictly with the principal eigenspace of the spatial measure. Finally, we construct a joint Lyapunov functional for the fully coupled spatial-parametric flow. This proves global dissipativity and demonstrates that orthogonally disentangled, linearly separable features emerge spontaneously at the stationary limit. Our framework bridges discrete algorithms with continuous stochastic analysis, providing a formal theoretical baseline for decentralized representation learning.
- Abstract(参考訳): 現代の表現学習はグローバルなエラー信号に大きく依存するが、局所的な相互作用によって駆動される分散アルゴリズムは、基本的な分散的な代替手段を提供する。
しかし、連続データ多様体上のこれらの離散力学のマクロ収束特性は理論上未解決のままであり、パラメータの爆発に悩まされている。
我々は、このギャップをリーマン多様体上の結合した遅くて高速な力学系として分散学習を形式化することによって埋める。
まず、測度論的極限を用いて、離散空間遷移が過度に減衰したランゲヴィン確率微分方程式に一様収束することを証明する。
第二に、イトー・ポアソン分解剤とラザールの不変原理の確率的拡張を通して、表現重みが無条件に発散を回避し、空間測度の主固有空間と厳密に整合していることを確立する。
最後に、完全に結合した空間パラメトリックフローのためのジョイントリアプノフ関数を構築する。
これは大域的拡散性を証明し、直交的に切り離された線形分離可能な特徴が定常極限で自然に現れることを示す。
我々のフレームワークは、離散アルゴリズムを連続確率解析でブリッジし、分散表現学習のための公式な理論ベースラインを提供する。
関連論文リスト
- Latent-Variable Learning of SPDEs via Wiener Chaos [2.0901018134712297]
線形偏微分方程式(SPDE)の法則を観測から加法的ガウス強制で学習する問題について検討する。
提案手法はスペクトルガレルキン射影と乱れたウィナーカオス展開を組み合わせ、進化と強制領域を分離する。
これにより、無限次元決定論的SPDEは、潜時時間力学を管理するパラメタライズされた常微分方程式の有限系に還元される。
論文 参考訳(メタデータ) (2026-02-12T10:19:43Z) - Parallel Complex Diffusion for Scalable Time Series Generation [50.01609741902786]
PaCoDiは周波数領域における生成モデリングを分離するスペクトルネイティブアーキテクチャである。
本研究では,PaCoDiが生成品質と推論速度の両方において,既存のベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2026-02-10T14:31:53Z) - Spectral Diffusion Models on the Sphere [0.0]
拡散モデル(英: Diffusion model)は、微分方程式と時間反転力学による生成モデリングの原理的な枠組みを提供する。
球面上の実数値関数の有限次元調和表現を直接定義する拡散モデリングフレームワークを開発する。
論文 参考訳(メタデータ) (2026-01-28T11:19:37Z) - Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
この記事は、一般状態空間上の拡散に関する自己完結プライマーである。
我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。
一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
論文 参考訳(メタデータ) (2025-12-04T18:55:36Z) - Non-Asymptotic Convergence of Discrete Diffusion Models: Masked and Random Walk dynamics [13.202844408027412]
我々は3つの一般的な離散拡散モデルに対する新しい鋭い収束保証を開発する。
各手法の計算複雑性は, 対数的因子まで, 次元で線形にスケールすることを示した。
この研究は、これらのノイズ発生過程に対する最初の非漸近収束保証を提供する。
論文 参考訳(メタデータ) (2025-11-29T18:24:43Z) - Error Analysis of Discrete Flow with Generator Matching [34.847768962128164]
我々は、離散フローモデルの理論的性質を研究するために、計算理論に基づく統一的な枠組みを開発する。
具体的には、遷移速度の異なる2つの連続時間マルコフ連鎖に関する2つの経路測度のKLばらつきを導出する。
遷移速度推定と早期停止から生じる誤差を包括的に分析する。
論文 参考訳(メタデータ) (2025-09-26T05:41:45Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳(メタデータ) (2024-10-03T09:07:13Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳(メタデータ) (2021-01-16T17:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。