論文の概要: Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2605.26012v1
- Date: Mon, 25 May 2026 16:31:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:20.470664
- Title: Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning
- Title（参考訳）: 低次元部分空間での学習:強化学習のための直交型ボトルネック
- Authors: Aleksandar Todorov, Matthia Sabatelli,
- Abstract要約: 低次元部分空間にエンコーダ特徴を制約するために固定正則射影を挿入する表現レベル前処理を提案する。
線形実現可能性仮定の下では、ボトルネック次元が特徴空間における最適値関数の内在的なランクを超えた場合、ボトルネックは表現性を保存する。
シングルタスクとマルチタスクのベンチマークで、ボトルネック次元がタスク依存のしきい値を超えると、ベースラインのパフォーマンスが一致または改善されることがわかった。
- 参考スコア（独自算出の注目度）: 47.218458651895766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep reinforcement learning (RL) agents commonly rely on high-dimensional neural representations, despite growing evidence that task-relevant value and policy structure may be intrinsically low-dimensional. In this work, we present a simple yet effective representation-level prior that inserts a fixed orthonormal projection to constrain encoder features to a low-dimensional subspace, requiring no auxiliary objectives, pretraining, or changes to the underlying RL algorithm. Under a linear realizability assumption, we prove that when the bottleneck dimension exceeds the intrinsic rank of the optimal value function in feature space, the bottleneck preserves expressivity and leaves the induced gradient dynamics unchanged up to an equivalent low-dimensional parameterization. Empirically, we find that across both single and multi-task benchmarks, baseline performance is either matched or improved once the bottleneck dimension exceeds a small task-dependent threshold; in many cases, value representations can be compressed to extremely low dimensions without loss, and the minimal sufficient dimension depends far more on environment complexity than encoder width. In addition, we analyze representation geometry and find that orthogonal bottlenecks stabilize feature norms and are associated with higher effective rank. Together, these results support a representation-space interpretation of the manifold hypothesis in reinforcement learning and position orthogonal bottlenecks as a lightweight, architecture-agnostic mechanism for shaping RL representations.
- Abstract（参考訳）: 深部強化学習(英語版)(RL)エージェントは、タスク関連値とポリシー構造が本質的に低次元であることの証拠が増えているにもかかわらず、一般的に高次元の神経表現に依存している。
本研究では,低次元部分空間にエンコーダ特徴を拘束するために固定直交射影を挿入し,補助的目的や事前学習,基礎となるRLアルゴリズムの変更を必要としない,単純で効果的な表現レベルを示す。
線形実現可能性仮定の下では、ボトルネック次元が特徴空間における最適値関数の内在的なランクを超えると、ボトルネックは表現性を保持し、誘導された勾配ダイナミクスは等価な低次元パラメータ化に変化しないことが証明される。
実証的に、単一およびマルチタスクのベンチマークにおいて、ボトルネック次元が小さなタスク依存しきい値を超えると、ベースライン性能が一致または改善されることが判明し、多くの場合、値表現は損失のない極低次元に圧縮でき、最小の十分な寸法はエンコーダ幅よりも環境複雑さに大きく依存する。
さらに、表現幾何学を解析し、直交ボトルネックが特徴ノルムを安定化させ、高い有効ランクに結びついていることを見出した。
これらの結果は、強化学習における多様体仮説の表現空間解釈と、RL表現を形成するための軽量でアーキテクチャに依存しないメカニズムとしての位置直交ボトルネックを支持する。
関連論文リスト
- Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model [23.79711176655533]
電力法則として重量が減少する潜在構成特徴の組み合わせで表されるグローバルな高次関数について検討した。
この構造に適応した層ワイドスペクトルアルゴリズムは、浅い非適応的な手法と比較してスケーリングの改善を実現する。
特徴量回復しきい値の鮮明さを証明し、これらの遷移を集約すると、予測誤差の明らかなパワーロッド崩壊が生じることを示す。
論文 参考訳（メタデータ） (2026-05-14T08:37:28Z) - Low-Rank Plus Sparse Matrix Transfer Learning under Growing Representations and Ambient Dimensions [6.949116398973296]
本研究では, 周辺次元と固有表現の同時成長における構造行列推定のための伝達学習について検討した。
本稿では,対象パラメータを組込みソースコンポーネント,低次元低ランクイノベーション,スパース編集に分解する汎用転送フレームワークを提案する。
対象雑音, 表現成長, ソース推定誤差を分離する決定論的誤差境界を確立し, ランクや間隔の増大が小さい場合には厳格に改善する。
論文 参考訳（メタデータ） (2026-01-29T15:40:05Z) - Directly Constructing Low-Dimensional Solution Subspaces in Deep Neural Networks [0.0]
この研究はTrainspace Sub-Native Distillationの新しいパラダイムを提供する。
無視可能な部分空間を直接定義することにより、学生劣化の探索を提供する。
論文 参考訳（メタデータ） (2025-12-29T12:13:15Z) - Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。
既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。
本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
論文 参考訳（メタデータ） (2025-12-28T05:48:55Z) - Least Volume Analysis [2.799971758656275]
最小体積は幾何学的直観にインスパイアされた単純だが効果的な正規化法である。
LVは非線形モデルにおいてPCAのような重み付けを誘導することを示す。
我々はLVを一般最小ボリューム(GLV)として非ユークリッド設定に拡張し、ラベル情報の潜在表現への統合を可能にする。
論文 参考訳（メタデータ） (2024-04-27T04:09:49Z) - Subspace Modeling for Fast Out-Of-Distribution and Anomaly Detection [5.672132510411465]
本稿では、ディープニューラルネットワーク(DNN)における異常および分布外サンプルを検出するための原則的アプローチを提案する。
本稿では,DNN が生成する意味的特徴に対する線形統計量次元削減手法の適用を提案する。
高次元空間における原特徴と低次元縮小埋め込みの前像との差の$ell$-normの「機能再構成誤差」(FRE)はOODと異常検出に極めて有効であることを示す。
論文 参考訳（メタデータ） (2022-03-20T00:55:20Z) - Sample-Efficient Reinforcement Learning Is Feasible for Linearly
Realizable MDPs with Limited Revisiting [60.98700344526674]
線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。
本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。
この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
論文 参考訳（メタデータ） (2021-05-17T17:22:07Z) - FLAMBE: Structural Complexity and Representation Learning of Low Rank
MDPs [53.710405006523274]
この研究は、表現学習の問題に焦点を当てている。
基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。
低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
論文 参考訳（メタデータ） (2020-06-18T19:11:18Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳（メタデータ） (2020-06-17T05:14:53Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳（メタデータ） (2020-06-10T14:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。