論文の概要: The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models

• arxiv url: http://arxiv.org/abs/2607.13612v1
• Date: Wed, 15 Jul 2026 08:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.714318
• Title: The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models
• Title（参考訳）: 変分自由エネルギーとしてのSIGRegの目的:JEPA世界モデルの理論的アクティブ推論
• Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、潜在世界モデルの主要な設計である。 本稿では,JEPAのトレーニング目標である予測損失と重み付き埋め込み正規化の選択肢が,有効能動推論(AIF)変動自由エネルギーであるか否かを判定する。
• 参考スコア（独自算出の注目度）: 47.471225029744424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-Embedding Predictive Architectures (JEPAs) are the dominant design for latent world models, yet they are usually justified by empirical performance rather than a normative principle. We show that the choice of anti-collapse regulariser determines whether a JEPA's training objective, a prediction loss plus a weighted embedding regulariser, is a valid Active Inference (AIF) variational free energy. We organise four non-contrastive regularisers (VICReg, LogDet, PairDist, and SIGReg) into an entropy-estimator hierarchy indexed by a prior-miscalibration gap, and show that the gap's sign, whether the estimator bounds the latent entropy from above or below, decides whether the AIF surprise bound survives: VICReg and LogDet are unsafe upper bounds, PairDist a safe lower bound, and SIGReg eliminates the gap. We then prove a correspondence theorem: under the standard constant-noise encoder model and successful SIGReg enforcement (isotropic-Gaussian embeddings), the gap vanishes, the objective becomes an exact information bottleneck, the surprise bound is preserved, and the latent goal cost becomes an exact proxy for AIF pragmatic value, whereas VICReg leaves an irreducible second-order anisotropy term. We extend the correspondence to multi-step expected free energy, ensemble epistemic value, and a learned-policy regime, and we identify the one AIF term no current JEPA world model computes: the state-epistemic value, a future-state coverage signal. The predictions differ in kind, not degree, and are stated here as theoretical consequences left for empirical test in separate work; full proofs are in Appendix A, and the algebraic core of every result is machine-verified in Lean 4 (Appendix D).
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)は、潜在世界のモデルの主要な設計であるが、通常、規範的な原則ではなく経験的なパフォーマンスによって正当化される。 本稿では,JEPAのトレーニング目標である予測損失と重み付き埋め込み正規化の選択肢が,有効能動推論(AIF)変動自由エネルギーであるか否かを判定する。 我々は、4つの非競合正規化器(VICReg, LogDet, PairDist, SIGReg)を前ミススキャリブレーションギャップで指数付けされたエントロピー-推定器階層に編成し、そのギャップの符号が、推定器が上か下から潜在エントロピーを束縛するかどうかを判定し、AIFのサプライズ境界が存続するかどうかを判定する: VICReg と LogDet は安全でない上界であり、PairDist は安全な下界であり、SIGReg はギャップを除去する。 標準定値エンコーダモデルと成功したSIGReg強制(等方的-ガウス埋め込み)の下で、ギャップは消滅し、目的が正確な情報ボトルネックとなり、サプライズ境界が保存され、潜在目標コストがAIF実用値の正確なプロキシとなるのに対して、VICRegは既約二階異方性項を残している。 我々は,多段階自由エネルギー,アンサンブル・エピステミック値,学習政治体制への対応を拡張し,現在JEPA世界モデルが計算していない1つのAIF項を同定する。 予測は種類によって異なるが程度ではなく、ここでは実験的なテストに残された理論的結果として、完全な証明はAppendix Aにあり、すべての結果の代数的コアはLean 4(Appendix D)でマシン検証されている。

関連論文リスト

• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion [0.0]
  2パスのCFG実行パターンは、パラメータカウントとビット操作のメトリクスが完全に隠蔽する遅延オーバーヘッドを課します。 誘導予測に基づいて直接校正を行う誘導認識混合精度(GAMP)を提案する。
  論文  参考訳（メタデータ） (2026-07-09T08:42:07Z)
• The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning [0.5854803320592717]
  線形ガウスモデル (Thm.A) における最適性を証明し, 展開のドリフトをゼロにする2次ペナルティに対する範囲被覆の必要性 (Thm.G) を示す。 13ブロック(MLからQwen2.5-7Bまで)のテストは、幾何と展開のドリフトに対する等方性対間違った方向の罰則と一致した。 Sigma_taskを推定し、Sigmaにマッチし、コントロールを実行し、タスクとジオメトリを別々にレポートする。
  論文  参考訳（メタデータ） (2026-05-21T17:53:28Z)
• Structural Rigidity and the 57-Token Predictive Window: A Physical Framework for Inference-Layer Governability in Large Language Models [0.0]
  現在のAIの安全性は、行動監視とトレーニング後のアライメントに依存している。 実験的な測定は、これらのアプローチは検出可能な事前コミット信号を生成しないことを示している。 本稿では,トランスフォーマー推論のダイナミクスを制約満足度モデルに結合するエネルギーベースのガバナンスフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-04T00:08:17Z)
• Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
  Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。 現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
  論文  参考訳（メタデータ） (2026-03-05T23:44:45Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Causal Inference as Distribution Adaptation: Optimizing ATE Risk under Propensity Uncertainty [0.0]
  我々は、分散シフトの下で、ATE推定をテキストドメイン適応問題として再フレーミングする。 結果モデルの共同学習を行うためのtextbfJoint Robust Estimator (JRE) を提案する。
  論文  参考訳（メタデータ） (2025-12-19T21:40:46Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。