論文の概要: DSReg: Provably Recovering Individual World Latents without Reconstruction

• arxiv url: http://arxiv.org/abs/2610.09457v1
• Date: Wed, 07 Oct 2026 05:12:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.729716
• Title: DSReg: Provably Recovering Individual World Latents without Reconstruction
• Title（参考訳）: DSReg:リコンストラクションなしで、おそらく個々の世界の潜伏者を回収する
• Abstract要約: 個々の世界の潜伏者は、復元もデコーダもラベルも無しで、確実に回復できることを示す。 構造的多様性の下では、DSRegは、再構成やデコーダなしで、署名された置換まで個々の世界の潜伏者を回復させる。 依存性フットプリントの条件として、構造的多様性は、以前の識別可能な潜在変数モデルのすべての構造的条件よりも厳密に弱い。
• 参考スコア（独自算出の注目度）: 60.17145882973659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Methods that recover individual latent variables of the world, from nonlinear ICA to dictionary learning and causal representation learning, anchor the latents to observations through reconstruction, auxiliary supervision, or distributional asymmetries such as non-Gaussianity. Methods without these anchors, including joint-embedding predictive architectures (JEPAs), identify the latent state only up to a linear transformation, so individual latents remain mixed. We close this gap: individual world latents can be provably recovered with no reconstruction, no decoder, and no labels. The key condition is Structural Diversity: different latents leave distinct dependency footprints on observations, just as no two snowflakes are alike. Building on the linear identifiability that LeJEPA provides, we prove that under Structural Diversity, DSReg (Dependency-Sparsity Regularization) recovers individual world latents up to signed permutation, without reconstruction or a decoder. It applies post hoc to any linearly identified representation, reusing trained checkpoints at no loss over joint training, and establishes the first fully identifiable JEPA that recovers every world latent. Moreover, as a condition on dependency footprints, Structural Diversity is strictly weaker than all structural conditions of prior identifiable latent variable models. Across synthetic regimes, world model probes, learned visual encoders, and external renderers, DSReg preserves dense prediction while improving individual-latent recovery and downstream use with scales.
• Abstract（参考訳）: 非線形ICAから辞書学習、因果表現学習まで、世界の個々の潜伏変数を復元する手法は、再構成、補助的な監督、非ガウス性のような分布非対称性を通じて、潜伏変数を観測に固定する。 共同埋め込み予測アーキテクチャ(JEPA)を含むこれらのアンカーを持たない手法は、線形変換のみの潜伏状態を特定するため、個々の潜伏状態は混合のままである。 個々の世界の潜伏者は、復元もデコーダもラベルもなしで、確実に回復できるのです。 構造的多様性(Structure Diversity):2つの雪片が同じであるように、異なる潜伏剤は観察に異なる依存性のフットプリントを残す。 LeJEPAが提供する線形識別性に基づいて、構造多様性の下では、DSReg(Dependency-Sparsity Regularization)は、再構成やデコーダを使わずに、署名された置換まで個々の世界の潜伏者を回復する。 線形に特定された表現にポストホックを適用し、共同トレーニングで失われることなくトレーニング済みのチェックポイントを再利用し、すべての遅延を回復する最初の完全に識別可能なJEPAを確立する。 さらに、依存性フットプリントの条件として、構造的多様性は、以前の識別可能な潜在変数モデルのすべての構造的条件よりも厳密に弱い。 合成レジーム、世界モデルプローブ、学習されたビジュアルエンコーダ、外部レンダラーなど、DSRegは密集した予測を維持しながら、個々の遅延回復とスケールによる下流使用を改善している。

関連論文リスト

• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• Structural-Semantic Reciprocal Learning for Unsupervised Visible-Infrared Person Re-Identification [15.868399399894903]
  教師なしの可視的人物再識別(USVI-ReID)は、大きなモダリティギャップとネイティブなアイデンティティアノテーションの欠如のために困難である。 オープンループアソシエーションを自己修正型クローズドループシステムに変換するフレームワークであるStructure-Semantic Reciprocal Learning (SSRL)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T17:22:51Z)
• C$^{2}$R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders [56.67585330425431]
  スパースオートエンコーダ(SAE)は、アクティベーションをスパースで人間の理解可能な機能に分解することで、大きな言語モデルを解釈するために広く使われている。 これらの問題は、サンプル間の一貫性のない潜在的な割り当てに起因している。 我々はC$2$Rを導入し、これは方向的に類似した潜伏剤の共活性化を罰する。
  論文  参考訳（メタデータ） (2026-06-29T17:45:31Z)
• When Does LeJEPA Learn a World Model? [48.74247491501631]
  世界の真の自由度を揺るがす表現は、信頼できる計画や構成的一般化を支持できない。 我々は,LJEPAが非線形観測から世界の潜伏変数を線形に復元することを証明した。 本研究では,2次元の例から1024次元の潜伏物体まで,分布の短縮や画素ベースのロボット制御を含む実験により,この理論を検証した。
  論文  参考訳（メタデータ） (2026-05-25T22:56:26Z)
• Entropic Auto-Encoding via Implicit Free-Energy Minimization [0.0]
  本稿では,再建損失が唯一の明示的な目的であるエントロピーオートエンコーダ(EAE)について紹介する。 EAEは非ガウス的, 多モードの潜伏分布を学習することにより, 後部崩壊を緩和することを示した。
  論文  参考訳（メタデータ） (2026-05-15T16:43:45Z)
• Diverse Dictionary Learning [47.381311762862985]
  観測データ$X = g(Z)$のみを与えられた場合、潜伏変数$Z$と生成プロセス$g$は未知であり、追加の仮定なしで$Z$を回収することは誤りである。 我々は、任意の観測に関連付けられた潜伏変数の交叉、補間、対称的な相違と、観測される潜伏変数の依存関係構造が、いまだ適切な不確定性まで同定可能であることを示す。
  論文  参考訳（メタデータ） (2026-04-19T18:18:34Z)
• Distributional Equivalence in Linear Non-Gaussian Latent-Variable Cyclic Causal Models: Characterization and Learning [13.891913455492697]
  我々は、一般の、構造的前提のないアプローチに対する中核的な障害は、同値なキャラクタリゼーションの欠如であると主張する。 このアプローチの鍵となるのは、エッジレベルの制約という新しいツールです。
  論文  参考訳（メタデータ） (2026-03-05T03:57:14Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。