論文の概要: Tensor and Matrix Low-Rank Value-Function Approximation in Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2201.09736v2
- Date: Mon, 24 Jul 2023 21:55:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 22:00:38.357590
- Title: Tensor and Matrix Low-Rank Value-Function Approximation in Reinforcement
Learning
- Title(参考訳): 強化学習におけるテンソルと行列低ランク値関数近似
- Authors: Sergio Rozada, Santiago Paternain, Antonio G. Marques
- Abstract要約: 強化学習(RL)における価値関数近似は中心的な問題である
本稿では,オンラインおよびモデルフリーな方法でVF行列を推定するために,Emphstochastic Low-rankアルゴリズムを用いた非パラメトリックな非パラメトリック手法を提案する。
- 参考スコア(独自算出の注目度): 14.610038284393164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Value-function (VF) approximation is a central problem in Reinforcement
Learning (RL). Classical non-parametric VF estimation suffers from the curse of
dimensionality. As a result, parsimonious parametric models have been adopted
to approximate VFs in high-dimensional spaces, with most efforts being focused
on linear and neural-network-based approaches. Differently, this paper puts
forth a a \emph{parsimonious non-parametric} approach, where we use
\emph{stochastic low-rank algorithms} to estimate the VF matrix in an online
and model-free fashion. Furthermore, as VFs tend to be multi-dimensional, we
propose replacing the classical VF matrix representation with a tensor
(multi-way array) representation and, then, use the PARAFAC decomposition to
design an online model-free tensor low-rank algorithm. Different versions of
the algorithms are proposed, their complexity is analyzed, and their
performance is assessed numerically using standardized RL environments.
- Abstract(参考訳): 値関数近似(VF)は強化学習(RL)の中心的な問題である。
古典的な非パラメトリックなvf推定は次元の呪いに苦しむ。
その結果、高次元空間のVFを近似するために擬似パラメトリックモデルが採用され、ほとんどの研究は線形およびニューラルネットワークに基づくアプローチに焦点を当てている。
異なることに、本稿では、オンラインおよびモデルフリーな方法でVF行列を推定するために \emph{parsimonious non-parametric} アプローチを提案する。
さらに,vfsは多次元化される傾向があるので,古典的vf行列表現をテンソル(多方向配列)表現に置き換え,パラファク分解を用いてオンラインモデルフリーテンソル低ランクアルゴリズムを設計することを提案する。
アルゴリズムの異なるバージョンを提案し、その複雑さを分析し、その性能を標準化されたRL環境を用いて数値的に評価する。
関連論文リスト
- Nonparametric Automatic Differentiation Variational Inference with
Spline Approximation [7.5620760132717795]
複雑な構造を持つ分布に対するフレキシブルな後続近似を可能にする非パラメトリック近似法を開発した。
広く使われている非パラメトリック推論手法と比較して,提案手法は実装が容易であり,様々なデータ構造に適応する。
実験では, 複雑な後続分布の近似における提案手法の有効性を実証し, 不完全データを用いた生成モデルの性能向上を図った。
論文 参考訳(メタデータ) (2024-03-10T20:22:06Z) - Hyperparameter Estimation for Sparse Bayesian Learning Models [1.0172874946490507]
Aparse Bayesian Learning (SBL) モデルは、信号処理や機械学習において、階層的な事前処理による疎結合を促進するために広く使われている。
本稿では,種々の目的関数に対するSBLモデルの改良のためのフレームワークを提案する。
信号雑音比において, 高い効率性を示す新しいアルゴリズムが導入された。
論文 参考訳(メタデータ) (2024-01-04T21:24:01Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - An iterative multi-fidelity approach for model order reduction of
multi-dimensional input parametric PDE systems [0.0]
多次元入力パラメトリック空間を用いた大規模PDEシステムの縮小のためのサンプリングパラメトリック戦略を提案する。
これはパラメトリック空間全体の低忠実度モデルを効率的なサンプリング戦略を用いてサンプリングポイントに利用することで達成される。
提案手法は,低忠実度モデルを用いてソリューションデータベースを同化するため,オフライン段階での計算コストを大幅に削減する。
論文 参考訳(メタデータ) (2023-01-23T15:25:58Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Low-rank State-action Value-function Approximation [11.026561518386025]
いくつかの高次元状態問題は、本質的な低ランク構造によってよく近似できる。
本稿では,$Q(s, a)$行列の低ランク分解を推定するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-04-18T10:31:39Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳(メタデータ) (2021-03-05T04:42:32Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。
MVSCに適合する新しい構造テンソル低ランクノルムを設計する。
提案手法は最先端の手法よりもかなり優れていることを示す。
論文 参考訳(メタデータ) (2020-04-30T11:52:12Z) - Efficient Alternating Least Squares Algorithms for Low Multilinear Rank
Approximation of Tensors [6.308492837096872]
テンソルの低次階数近似を効率的に計算するための最小二乗(ALS)に基づく新しいクラスHOSVDアルゴリズムを提案する。
ALSに基づくアプローチは、中間行列の特異ベクトルの冗長な計算を排除し、したがってデータの爆発をなくすことができる。
合成および実世界の双方の大規模テンソルを用いた数値実験により、ALSベースの手法が原材料全体のコストを大幅に削減し、並列計算に非常にスケーラブルであることを示す。
論文 参考訳(メタデータ) (2020-04-06T11:58:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。