論文の概要: Compressed Online Learning of Conditional Mean Embedding
- arxiv url: http://arxiv.org/abs/2405.07432v1
- Date: Mon, 13 May 2024 02:18:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 15:04:30.319655
- Title: Compressed Online Learning of Conditional Mean Embedding
- Title（参考訳）: 条件付き平均埋め込みの圧縮オンライン学習
- Authors: Boya Hou, Sina Sanjari, Alec Koppel, Subhonmesh Bose,
- Abstract要約: 条件平均埋め込み (CME) は確率分布におけるマルコフ核の作用を符号化する。
演算子値勾配勾配を用いたデータからCMEを漸進的に学習するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 11.720101697635148
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The conditional mean embedding (CME) encodes Markovian stochastic kernels through their actions on probability distributions embedded within the reproducing kernel Hilbert spaces (RKHS). The CME plays a key role in several well-known machine learning tasks such as reinforcement learning, analysis of dynamical systems, etc. We present an algorithm to learn the CME incrementally from data via an operator-valued stochastic gradient descent. As is well-known, function learning in RKHS suffers from scalability challenges from large data. We utilize a compression mechanism to counter the scalability challenge. The core contribution of this paper is a finite-sample performance guarantee on the last iterate of the online compressed operator learning algorithm with fast-mixing Markovian samples, when the target CME may not be contained in the hypothesis space. We illustrate the efficacy of our algorithm by applying it to the analysis of an example dynamical system.
- Abstract（参考訳）: 条件平均埋め込み (CME) はマルコフ確率核を、再生されたカーネルヒルベルト空間 (RKHS) 内に埋め込まれた確率分布の作用を通じて符号化する。
CMEは強化学習、動的システムの解析など、よく知られた機械学習タスクにおいて重要な役割を果たす。
演算子評価確率勾配勾配を用いたデータからCMEを漸進的に学習するアルゴリズムを提案する。
有名なように、RKHSの関数学習は、大規模データによるスケーラビリティの課題に悩まされている。
我々は圧縮機構を利用してスケーラビリティの課題に対処する。
本論文のコアコントリビューションは、ターゲットCMEが仮説空間に含まれない場合、高速混合マルコフサンプルを用いたオンライン圧縮演算子学習アルゴリズムの最終繰り返しにおける有限サンプル性能保証である。
実例力学系の解析に適用し,本アルゴリズムの有効性について述べる。
関連論文リスト
- Nonparametric Sparse Online Learning of the Koopman Operator [11.710740395697128]
クープマン作用素は、一般的な非線形力学系の力学を表現する強力なフレームワークを提供する。
クープマン作用素を学ぶためのデータ駆動手法は、選択された関数空間がシステム力学の下で閉じていると仮定するのが一般的である。
演算子近似アルゴリズムを用いて、演算子を反復的に学習し、表現の複雑さの制御を行う。
論文 参考訳（メタデータ） (2025-01-27T20:48:10Z) - Multiplicative Dynamic Mode Decomposition [4.028503203417233]
有限次元近似においてクープマン作用素に固有の乗法構造を強制する乗法動的モード分解(MultDMD)を導入する。
MultDMDは有限次元近似に対する構造化されたアプローチを示し、クープマン作用素のスペクトル特性を正確に反映することができる。
我々は,MultDMDの理論的枠組みについて詳述し,その定式化,最適化戦略,収束特性について詳述する。
論文 参考訳（メタデータ） (2024-05-08T18:09:16Z) - Parameterized Projected Bellman Operator [64.129598593852]
近似値反復(英: Approximate value iteration, AVI)は、強化学習(RL)のためのアルゴリズムの一群である。
本稿ではベルマン作用素の近似版を学習する新しい代替手法を提案する。
逐次決定問題に対するPBO学習のための最適化問題を定式化する。
論文 参考訳（メタデータ） (2023-12-20T09:33:16Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Auxiliary Functions as Koopman Observables: Data-Driven Analysis of
Dynamical Systems via Polynomial Optimization [0.0]
本稿では,明示的なモデル発見を必要としないフレキシブルなデータ駆動型システム解析手法を提案する。
この手法は、データからクープマン演算子を近似する確立した手法に根ざし、数値的に解ける半定プログラムとして実装される。
論文 参考訳（メタデータ） (2023-03-02T18:44:18Z) - Spectral Decomposition Representation for Reinforcement Learning [100.0424588013549]
本稿では, スペクトル分解表現法(SPEDER)を提案する。この手法は, データ収集ポリシーに急激な依存を生じさせることなく, ダイナミックスから状態-作用の抽象化を抽出する。
理論的解析により、オンライン設定とオフライン設定の両方において提案アルゴリズムのサンプル効率が確立される。
実験により、いくつかのベンチマークで現在の最先端アルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-08-19T19:01:30Z) - Learning Dynamical Systems via Koopman Operator Regression in
Reproducing Kernel Hilbert Spaces [52.35063796758121]
動的システムの有限データ軌跡からクープマン作用素を学ぶためのフレームワークを定式化する。
リスクとクープマン作用素のスペクトル分解の推定を関連付ける。
以上の結果から,RRRは他の広く用いられている推定値よりも有益である可能性が示唆された。
論文 参考訳（メタデータ） (2022-05-27T14:57:48Z) - Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。
線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
論文 参考訳（メタデータ） (2022-04-20T21:15:38Z) - KoopmanizingFlows: Diffeomorphically Learning Stable Koopman Operators [7.447933533434023]
本稿では,線形時間不変(LTI)モデルを構築するための新しいフレームワークを提案する。
事前に定義された関数のライブラリやスペクトルを知ることなく、クープマン作用素の特徴を学習する。
本稿では,LASA手書きデータセットにおける最先端手法と比較して,提案手法の優れた有効性を示す。
論文 参考訳（メタデータ） (2021-12-08T02:40:40Z) - Estimating Koopman operators for nonlinear dynamical systems: a
nonparametric approach [77.77696851397539]
Koopman演算子は非線形系の線形記述を可能にする数学的ツールである。
本稿では,その核となる部分を同一フレームワークのデュアルバージョンとして捉え,それらをカーネルフレームワークに組み込む。
カーネルメソッドとKoopman演算子との強力なリンクを確立し、Kernel関数を通じて後者を推定する。
論文 参考訳（メタデータ） (2021-03-25T11:08:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。