論文の概要: Dynamic Sparsity: Challenging Common Sparsity Assumptions for Learning World Models in Robotic Reinforcement Learning Benchmarks
- arxiv url: http://arxiv.org/abs/2511.08086v1
- Date: Wed, 12 Nov 2025 01:39:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-12 20:17:03.636408
- Title: Dynamic Sparsity: Challenging Common Sparsity Assumptions for Learning World Models in Robotic Reinforcement Learning Benchmarks
- Title（参考訳）: 動的疎水性:ロボット強化学習ベンチマークにおける世界モデル学習のための共通疎水性推定
- Authors: Muthukumar Pandaram, Jakob Hollenstein, David Drexel, Samuele Tosatto, Antonio Rodríguez-Sánchez, Justus Piater,
- Abstract要約: 環境力学の因果グラフがスパースか (ii) 状態依存か (iii) 局所系力学がスパースに変化するか (ii) について検討する。
この結果から,グローバルな分散性は稀であるが,その代わりに,局所的かつ状態に依存した分散性を示すことが示唆された。
- 参考スコア（独自算出の注目度）: 2.093690479400306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The use of learned dynamics models, also known as world models, can improve the sample efficiency of reinforcement learning. Recent work suggests that the underlying causal graphs of such dynamics models are sparsely connected, with each of the future state variables depending only on a small subset of the current state variables, and that learning may therefore benefit from sparsity priors. Similarly, temporal sparsity, i.e. sparsely and abruptly changing local dynamics, has also been proposed as a useful inductive bias. In this work, we critically examine these assumptions by analyzing ground-truth dynamics from a set of robotic reinforcement learning environments in the MuJoCo Playground benchmark suite, aiming to determine whether the proposed notions of state and temporal sparsity actually tend to hold in typical reinforcement learning tasks. We study (i) whether the causal graphs of environment dynamics are sparse, (ii) whether such sparsity is state-dependent, and (iii) whether local system dynamics change sparsely. Our results indicate that global sparsity is rare, but instead the tasks show local, state-dependent sparsity in their dynamics and this sparsity exhibits distinct structures, appearing in temporally localized clusters (e.g., during contact events) and affecting specific subsets of state dimensions. These findings challenge common sparsity prior assumptions in dynamics learning, emphasizing the need for grounded inductive biases that reflect the state-dependent sparsity structure of real-world dynamics.
- Abstract（参考訳）: 世界モデルとしても知られる学習力学モデルを使用することで、強化学習のサンプル効率を向上させることができる。
最近の研究は、そのような力学モデルの根底にある因果グラフは、現在の状態変数の小さな部分集合にのみ依存する将来の状態変数と疎結合であり、したがって学習がスパース性先行の恩恵を受けることを示唆している。
同様に、時間空間、すなわち緩やかな局所的ダイナミクスの急激な変化は、有益な帰納的バイアスとして提案されている。
本研究では,MuJoCo Playgroundベンチマークスイートのロボット強化学習環境の集合から,現状と時間空間の概念が典型的強化学習タスクで実際に成立するかどうかを判断し,これらの仮定を批判的に検証する。
研究
(i)環境力学の因果グラフがスパースであるか否か。
(二)そのような空間が国家に依存しているか否か、及び
(3)局所システムのダイナミクスがわずかに変化するか否か。
以上の結果から,グローバルな空間空間は稀であるが,タスクは局所的かつ状態依存的な空間構造を示し,この空間空間は時間的局所化されたクラスタ(例えば接触イベント)に出現し,状態次元の特定のサブセットに影響を与えることが示唆された。
これらの知見は、実世界の力学の状態依存的な空間構造を反映した基底的帰納バイアスの必要性を強調し、動的学習における一般的な空間的前提に挑戦する。
関連論文リスト
- Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。
科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
論文 参考訳（メタデータ） (2025-03-02T16:10:32Z) - SPARTAN: A Sparse Transformer Learning Local Causation [63.29645501232935]
因果構造は、環境の変化に柔軟に適応する世界モデルにおいて中心的な役割を果たす。
本研究では,SPARse TrANsformer World Model(SPARTAN)を提案する。
オブジェクト指向トークン間の注意パターンに空間規則を適用することで、SPARTANは、将来のオブジェクト状態を正確に予測するスパース局所因果モデルを特定する。
論文 参考訳（メタデータ） (2024-11-11T11:42:48Z) - Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。
本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
論文 参考訳（メタデータ） (2024-10-23T14:22:49Z) - Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training [7.5041863920639456]
機械学習システムは、データの望ましくない特徴を活用してバイアスを取得し、異なるサブポピュレーションの精度に影響を与えることが多い。
本稿では, ガウス混合モデルを用いて, 教師学生によるデータサブポピュレーションのモデル化におけるバイアスの進化について検討する。
この発見を公平性と堅牢性に適用することで、不均一なデータと突発的な特徴がバイアスを発生し増幅する方法について、いつ、どのように、どのように、どのようにして、そして、どのようにして、そのバイアスを増大させるかを説明します。
論文 参考訳（メタデータ） (2024-05-28T15:50:10Z) - Loss Dynamics of Temporal Difference Reinforcement Learning [36.772501199987076]
線形関数近似器を用いた値関数の時間差学習のためのケースラーニング曲線について検討した。
本研究では,学習力学と台地が特徴構造,学習率,割引係数,報酬関数にどのように依存するかを検討する。
論文 参考訳（メタデータ） (2023-07-10T18:17:50Z) - Sparsity in Continuous-Depth Neural Networks [2.969794498016257]
重みと特徴空間が予測および基礎となる動的法則の同定に与える影響について検討する。
ヒトのモーションキャプチャーとヒト造血幹細胞RNA-seqデータからなる実世界のデータセットをキュレートする。
論文 参考訳（メタデータ） (2022-10-26T12:48:12Z) - Causal Dynamics Learning for Task-Independent State Abstraction [61.707048209272884]
タスク独立状態抽象化(CDL)のための因果ダイナミクス学習を導入する。
CDLは、状態変数とアクションの間の不要な依存関係を取り除く理論的に証明された因果ダイナミクスモデルを学ぶ。
状態抽象化は、学習されたダイナミクスから導き出すことができる。
論文 参考訳（メタデータ） (2022-06-27T17:02:53Z) - LEADS: Learning Dynamical Systems that Generalize Across Environments [12.024388048406587]
我々は、モデル一般化を改善するために、既知の環境間の共通点と相違点を活用する新しいフレームワークであるLEADSを提案する。
環境に依存したデータから抽出した知識を活用でき、既知の環境と新しい環境の両方の一般化を向上できることを示す。
論文 参考訳（メタデータ） (2021-06-08T17:28:19Z) - Context-aware Dynamics Model for Generalization in Model-Based
Reinforcement Learning [124.9856253431878]
グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。
本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。
提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
論文 参考訳（メタデータ） (2020-05-14T08:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。