論文の概要: World Modeling through Spectral Alignment
- arxiv url: http://arxiv.org/abs/2610.15429v2
- Date: Wed, 14 Oct 2026 22:50:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:15.86751
- Title: World Modeling through Spectral Alignment
- Title(参考訳): スペクトルアライメントによる世界モデリング
- Abstract要約: 我々は、観察間の望ましい関係を明確に規定するフレームワークであるSpecWMを紹介する。
異なるカーネルは、物理的状態情報から完全に自己管理された時間カーネルまで、さまざまな監督を提供する。
表現幾何を明示的に指定することは、潜在世界モデルが制御のために保持するものを操縦する簡単な方法であることを示す。
- 参考スコア(独自算出の注目度): 19.52950451080996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How do we tell a world model what information to preserve? We study this question through the lens of spectral representation learning. We introduce SpecWM, a JEPA framework that explicitly specifies desired relationships between observations through a target similarity kernel and trains the encoder to reproduce those relationships in its embedding geometry. Different kernels provide different supervision, ranging from physical state information to a fully self-supervised temporal kernel requiring only the ordering of observations within trajectories. We characterize the global optima of the objective, establish conditions for linear recoverability and invariance to nuisance information, and connect temporal-kernel similarity to the behavioral successor measure under an idealized setting. Empirically, the choice of kernel strongly controls which physical quantities are recoverable from the representation. More importantly, temporal spectral alignment improves CEM planning success over LeWorldModel from 52% to 68% on OGBench Cube, 49% to 77% on OGBench Scene, and 29% to 51% on CALVIN. These results suggest that explicitly specifying representation geometry provides a simple way to steer what latent world models preserve for control.
- Abstract(参考訳): 保存すべき情報を世界モデルにどのように伝えるか?
本稿では,スペクトル表現学習のレンズを用いてこの問題を考察する。
SpecWMというJEPAフレームワークは、ターゲットの類似性カーネルを通して観測者間の望ましい関係を明確に特定し、エンコーダにそれらの関係を埋め込み幾何学で再現するように訓練する。
異なるカーネルは、物理的状態情報から完全に自己監督された時間的カーネルまで、軌跡内の観測の順序のみを必要とする様々な監督を提供する。
目的のグローバルな最適化を特徴付け、線形回復可能性とニュアンス情報への不変性の条件を確立し、理想的な設定の下で行動後続測度と時間的カーネルの類似性を接続する。
経験的に、カーネルの選択は、表現からどの物理量が回復できるかを強く制御する。
さらに、時間スペクトルアライメントにより、LeWorldModelのCEMプランニング成功率は、OGBench Cubeで52%から68%、OGBench Sceneで49%から77%、CALVINで29%から51%に向上した。
これらの結果は、表現幾何を明示的に指定することは、潜在世界モデルが制御のために保持するものを操縦する簡単な方法を提供することを示唆している。
関連論文リスト
- GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed [71.05944634852158]
GroundAnythingはブロックワイズによる正確なローカライゼーションで高速並列デコーディングを再構成する。
30のグラウンドベンチマークで、私たちの自己回帰型であるGroundAnything-VLMは、この技術の新たな全体的な状態を確立します。
エントロピー誘導復号法により、GroundAnythingは、この規模の芸術の先行状態を超越している。
論文 参考訳(メタデータ) (2026-09-30T12:20:51Z) - Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。
そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。
制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
論文 参考訳(メタデータ) (2026-08-20T13:59:57Z) - Cloud-ScPO: Hidden-State Geometry for Semi-Supervised Preference Optimization in LLM Reasoning [7.172883293957228]
モデルの内部表現幾何学から選好監督を導出できるかどうかを考察する。
我々は、トポロジ誘導の選好マイニングフレームワークであるCloud-ScPOを提案する。
実験の結果、クラウド-ScPOはScPOよりも常に改善され、GSM8Kでは4.49%、MATH-Numericでは4.19%まで上昇した。
論文 参考訳(メタデータ) (2026-08-02T05:33:41Z) - SCOPE: Semantic Coreset with Orthogonal Projection Embeddings for Federated learning [0.7799711162530713]
現在のMLアプローチでは、非現実的なデータアグリゲーションを必要とするか、クラス不均衡のため失敗する。
SCOPEは,異常をフィルタし,冗長なデータを長期スキューに適応させる,フェデレートされたデータのためのコアセットフレームワークである。
SCOPEは、アップリンク帯域幅を128倍から512倍に削減しながら、競争力のあるグローバル精度と堅牢な収束をもたらす。
論文 参考訳(メタデータ) (2026-03-13T13:24:12Z) - Deep Global Clustering for Hyperspectral Image Segmentation: Concepts, Applications, and Open Challenges [1.9116784879310027]
ハイパースペクトルイメージング(HSI)解析は、利用可能なメモリを超える大量のデータ量のために計算ボトルネックに直面している。
本稿では,メモリ効率の高いHSIセグメンテーションの概念フレームワークであるDeep Global Clustering (DGC)について述べる。
DGCは、重複するリージョンを持つ小さなパッチを使用して一貫性を強制し、コンシューマハードウェア上で30分未満のトレーニングを可能にする。
論文 参考訳(メタデータ) (2025-12-30T12:10:43Z) - SpectralKrum: A Spectral-Geometric Defense Against Byzantine Attacks in Federated Learning [2.512941835598642]
Federated Learning (FL)は、データをローカルに保持するクライアントにモデルトレーニングを配布する。
本稿では、幾何学的近傍選択とスペクトル部分空間推定を融合させる防衛法であるSpectralKrumを紹介する。
5万6000回の訓練ラウンドにまたがる実験は、SpectralKrumが指向性およびサブスペース認識攻撃と競合していることを示している。
論文 参考訳(メタデータ) (2025-12-12T18:12:37Z) - What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。
本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。
我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
論文 参考訳(メタデータ) (2025-12-11T16:39:53Z) - Energy-Based Coarse-Graining in Molecular Dynamics: A Flow-Based Framework without Data [0.0]
粗粒モデル(CG)は分子シミュレーションの複雑さを減らす効果的な経路を提供する。
本稿では,全原子ボルツマン分布を直接対象とするCGのための完全データフリーな生成フレームワークを提案する。
本手法はボルツマン分布のすべてのモードを捕捉し、原子配置を再構成し、自動的に物理的に意味のあるCG表現を学習することを示す。
論文 参考訳(メタデータ) (2025-04-29T17:05:27Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - DepthFormer: Exploiting Long-Range Correlation and Local Information for
Accurate Monocular Depth Estimation [50.08080424613603]
高精度な単分子深度推定には長距離相関が不可欠である。
我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。
提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
論文 参考訳(メタデータ) (2022-03-27T05:03:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。