論文の概要: Unrolling Dynamic Programming via Graph Filters

• arxiv url: http://arxiv.org/abs/2507.21705v1
• Date: Tue, 29 Jul 2025 11:34:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:56.063188
• Title: Unrolling Dynamic Programming via Graph Filters
• Title（参考訳）: グラフフィルタによる動的プログラミングの展開
• Authors: Sergio Rozada, Samuel Rey, Gonzalo Mateos, Antonio G. Marques,
• Abstract要約: 本稿では,BellNetと呼ばれる学習可能なパラメトリックモデルにポリシーの繰り返しを解き放つ新しいアプローチを提案する。 格子状環境下での予備実験により、ベルネットは古典的手法で要求される少数の最適ポリシーを効果的に近似できることを示した。
• 参考スコア（独自算出の注目度）: 17.7168439130946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic programming (DP) is a fundamental tool used across many engineering fields. The main goal of DP is to solve Bellman's optimality equations for a given Markov decision process (MDP). Standard methods like policy iteration exploit the fixed-point nature of these equations to solve them iteratively. However, these algorithms can be computationally expensive when the state-action space is large or when the problem involves long-term dependencies. Here we propose a new approach that unrolls and truncates policy iterations into a learnable parametric model dubbed BellNet, which we train to minimize the so-termed Bellman error from random value function initializations. Viewing the transition probability matrix of the MDP as the adjacency of a weighted directed graph, we draw insights from graph signal processing to interpret (and compactly re-parameterize) BellNet as a cascade of nonlinear graph filters. This fresh look facilitates a concise, transferable, and unifying representation of policy and value iteration, with an explicit handle on complexity during inference. Preliminary experiments conducted in a grid-like environment demonstrate that BellNet can effectively approximate optimal policies in a fraction of the iterations required by classical methods.
• Abstract（参考訳）: 動的プログラミング(DP)は多くの工学分野にまたがる基本的なツールである。 DPの主な目的は、与えられたマルコフ決定過程(MDP)に対するベルマンの最適性方程式を解くことである。 ポリシー反復のような標準的な手法は、これらの方程式の固定点の性質を利用して、それらを反復的に解く。 しかし、これらのアルゴリズムは、状態-作用空間が大きい場合や、問題が長期依存を伴う場合、計算コストがかかる可能性がある。 本稿では,ポリシーイテレーションをBellNetと呼ばれる学習可能なパラメトリックモデルに解き放つ手法を提案する。 重み付き有向グラフの隣接性としてMDPの遷移確率行列を考察し,非線形グラフフィルタのカスケードとして,グラフ信号処理からベルネットを解釈(かつコンパクトに再パラメータ化)するための洞察を引き出す。 この新しい外観は、推論中の複雑さを明確に扱い、簡潔で、転送可能で、ポリシーと価値の反復の表現を統一するのに役立つ。 グリッドのような環境での予備実験により、ベルネットは古典的な手法で要求されるイテレーションのごく一部で最適なポリシーを効果的に近似できることを示した。

関連論文リスト

• Learning Infinite-Horizon Average-Reward Linear Mixture MDPs of Bounded Span [16.49229317664822]
  本稿では,無限水平平均逆線形混合マルコフ決定過程(MDPs)を学習するための計算抽出可能なアルゴリズムを提案する。 線形混合MDPのアルゴリズムは,$widetildemathcalO(dsqrtmathrmsp(v*)T)$$$T$以上の最小限の後悔上限を実現する。
  論文  参考訳（メタデータ） (2024-10-19T05:45:50Z)
• Computationally Efficient RL under Linear Bellman Completeness for Deterministic Dynamics [39.07258580928359]
  線形ベルマン完全設定に対する計算的および統計的に効率的な強化学習アルゴリズムについて検討する。 この設定では線形関数近似を用いて値関数をキャプチャし、線形マルコフ決定プロセス(MDP)や線形二次レギュレータ(LQR)のような既存のモデルを統一する。 我々の研究は、線形ベルマン完全設定のための計算効率の良いアルゴリズムを提供し、大きなアクション空間、ランダムな初期状態、ランダムな報酬を持つMDPに対して機能するが、決定論的となる基礎となる力学に依存している。
  論文  参考訳（メタデータ） (2024-06-17T17:52:38Z)
• Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs [16.49229317664822]
  線形決定過程(MDP)を用いた無限水平平均逆強化学習の問題点について検討する。 提案手法は, 平均再帰設定を割引係数で近似し, 楽観的な値反復を適用した。
  論文  参考訳（メタデータ） (2024-05-23T20:58:33Z)
• Efficient Policy Iteration for Robust Markov Decision Processes via Regularization [49.05403412954533]
  ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。 最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。 本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
  論文  参考訳（メタデータ） (2022-05-28T04:05:20Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Continuous-Time Fitted Value Iteration for Robust Policies [93.25997466553929]
  ハミルトン・ヤコビ・ベルマン方程式の解法は、制御、ロボティクス、経済学を含む多くの領域において重要である。 連続適合値反復(cFVI)とロバスト適合値反復(rFVI)を提案する。 これらのアルゴリズムは、多くの連続制御問題の非線形制御-アフィンダイナミクスと分離可能な状態とアクション報酬を利用する。
  論文  参考訳（メタデータ） (2021-10-05T11:33:37Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。