論文の概要: Proximal Bellman mappings for reinforcement learning and their
application to robust adaptive filtering
- arxiv url: http://arxiv.org/abs/2309.07548v1
- Date: Thu, 14 Sep 2023 09:20:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 15:39:33.860701
- Title: Proximal Bellman mappings for reinforcement learning and their
application to robust adaptive filtering
- Title(参考訳): 強化学習のための近位ベルマン写像とそのロバスト適応フィルタリングへの応用
- Authors: Yuki Akiyama and Konstantinos Slavakis
- Abstract要約: 本稿ではベルマン写像の新しいクラスを紹介する。
写像は、カーネルヒルベルト空間の再現で定義される。
提案した写像のクラスに近似的なポリシイテレーションスキームを構築した。
- 参考スコア(独自算出の注目度): 4.140907550856865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper aims at the algorithmic/theoretical core of reinforcement learning
(RL) by introducing the novel class of proximal Bellman mappings. These
mappings are defined in reproducing kernel Hilbert spaces (RKHSs), to benefit
from the rich approximation properties and inner product of RKHSs, they are
shown to belong to the powerful Hilbertian family of (firmly) nonexpansive
mappings, regardless of the values of their discount factors, and possess ample
degrees of design freedom to even reproduce attributes of the classical Bellman
mappings and to pave the way for novel RL designs. An approximate
policy-iteration scheme is built on the proposed class of mappings to solve the
problem of selecting online, at every time instance, the "optimal" exponent $p$
in a $p$-norm loss to combat outliers in linear adaptive filtering, without
training data and any knowledge on the statistical properties of the outliers.
Numerical tests on synthetic data showcase the superior performance of the
proposed framework over several non-RL and kernel-based RL schemes.
- Abstract(参考訳): 本稿では,強化学習(RL)のアルゴリズム的・理論的コアを,近位ベルマン写像の新たなクラスを導入して論じる。
これらの写像は、カーネル・ヒルベルト空間 (RKHSs) の再現において定義され、RKHSs のリッチな近似特性と内積の恩恵を受けるために、これらの写像は、割引係数の値によらず、(確実に)非拡大写像のヒルベルト族に属することが示され、古典的なベルマン写像の属性を再現し、新しいRL設計の道を開くために十分な設計自由度を持つ。
オンライン選択の問題を解決するために提案された写像のクラス上に近似的なポリシーイテレーションスキームを構築し, 任意の場合において, 最適」指数の$p$を線形適応フィルタリングにおける外れ値と闘うための$p$-norm損失を, トレーニングデータや外れ値の統計的特性に関する知識なしで解決する。
合成データの数値実験は、いくつかの非rlおよびカーネルベースのrlスキームよりも優れた性能を示す。
関連論文リスト
- Iterative Preference Learning from Human Feedback: Bridging Theory and
Practice for RLHF under KL-Constraint [59.18441633176669]
本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程の理論的枠組みについて検討する。
我々は、標準的な数学的定式化、RLHFの逆KL正規化文脈帯域を考える。
我々は、オフライン、オンライン、ハイブリッドの3つの異なる設定でその振る舞いを調査し、有限サンプル理論的保証を持つ効率的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-18T18:58:42Z) - Universality of Linear Recurrences Followed by Non-linear Projections:
Finite-Width Guarantees and Benefits of Complex Eigenvalues [35.17209370064094]
線形複素数値RNNと線形対角線再帰を組み合わせれば、逐次列列マップの任意の精度で近似できることを示す。
我々は、単位ディスクの近くに複雑な固有値(すなわち、SSMにおいて最も成功した戦略)を採用することが、情報を保存する上で、RNNに大いに役立つことを証明した。
論文 参考訳(メタデータ) (2023-07-21T20:09:06Z) - A Neuromorphic Architecture for Reinforcement Learning from Real-Valued
Observations [0.34410212782758043]
強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。
本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-07-06T12:33:34Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [67.07008558942792]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T15:00:09Z) - Assessment of Reinforcement Learning Algorithms for Nuclear Power Plant
Fuel Optimization [0.0]
この研究は、深いRLを用いてロードパターンの問題を解決するための第一種アプローチを示し、任意のエンジニアリング設計最適化に利用することができる。
論文 参考訳(メタデータ) (2023-05-09T23:51:24Z) - Optimal Goal-Reaching Reinforcement Learning via Quasimetric Learning [73.80728148866906]
準メトリック強化学習(QRL)は、準メトリックモデルを用いて最適な値関数を学習する新しいRL法である。
オフラインおよびオンラインの目標達成ベンチマークでは、QRLはサンプル効率とパフォーマンスが改善されている。
論文 参考訳(メタデータ) (2023-04-03T17:59:58Z) - online and lightweight kernel-based approximated policy iteration for
dynamic p-norm linear adaptive filtering [8.319127681936815]
本稿では, 線形適応フィルタリングにおいて, 最適p-ノルムを動的(オンライン)に選択する問題の解を提案する。
提案するフレームワークはカーネルベース強化学習(KBRL)に基づいている。
論文 参考訳(メタデータ) (2022-10-21T06:29:01Z) - Dynamic selection of p-norm in linear adaptive filtering via online
kernel-based reinforcement learning [8.319127681936815]
本研究は, 線形適応フィルタリングにおいて, 最適p-ノルムが外れ値と競合する問題に対して, 動的に選択する問題に対処する。
オンラインおよびデータ駆動型フレームワークはカーネルベース強化学習(KBRL)によって設計される
論文 参考訳(メタデータ) (2022-10-20T14:49:39Z) - Exponential Family Model-Based Reinforcement Learning via Score Matching [97.31477125728844]
有限水平表層強化学習(RL)のための楽観的モデルベースアルゴリズムSMRLを提案する。
SMRLは、リッジ回帰によるモデルパラメータの効率的な推定を可能にする非正規化密度推定手法であるスコアマッチングを用いる。
論文 参考訳(メタデータ) (2021-12-28T15:51:07Z) - B-Pref: Benchmarking Preference-Based Reinforcement Learning [84.41494283081326]
我々は、好みベースのRL用に特別に設計されたベンチマークであるB-Prefを紹介する。
このようなベンチマークにおける重要な課題は、候補アルゴリズムをすばやく評価する機能を提供することだ。
B-Prefは、幅広い不合理性を持つ教師をシミュレートすることでこれを緩和する。
論文 参考訳(メタデータ) (2021-11-04T17:32:06Z) - Nested-Wasserstein Self-Imitation Learning for Sequence Generation [158.19606942252284]
分布意味マッチングのためのネスト・ワッサーシュタイン距離の概念を提案する。
ネストされたワッサーシュタインの自己想像学習フレームワークを開発し、歴史ある高次列を利用するようモデルに奨励する。
論文 参考訳(メタデータ) (2020-01-20T02:19:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。