論文の概要: Finite-Sample Theory for Fitted Q-Iteration When Actions Are Functions

• arxiv url: http://arxiv.org/abs/2609.36390v1
• Date: Mon, 28 Sep 2026 23:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.054665
• Title: Finite-Sample Theory for Fitted Q-Iteration When Actions Are Functions
• Title（参考訳）: アクションが関数であるときの適合Q-Iterationのための有限サンプル理論
• Abstract要約: オフライン強化学習は、以前収集されたデータから最適な決定ルールを求める。 いくつかの応用において、決定は、放射線治療におけるフルエンスマップや、ロボット工学における滑らかな運動軌跡のような全機能である。 本研究では, 有限サンプル理論を用いて, 微分無限水平条件下での関数的作用を持つQ-it (FQI) について検討する。
• 参考スコア（独自算出の注目度）: 1.5768373803338438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline reinforcement learning seeks optimal decision rules from previously collected data. In some applications, a decision can be an entire function, such as a fluence map in radiation therapy or a smooth movement trajectory in robotics. In this paper, we study the finite-sample theory for fitted Q-iteration (FQI) with functional actions in a discounted infinite-horizon setting. Three major difficulties arise in this setting: first, the absence of a Lebesgue probability density for functional actions complicates coverage descriptions; second, conventional coverage requirements can be restrictive; and third, the large functional action space makes greedy optimization in FQI challenging. To address these difficulties, we study smoothness-regularized policy search under a critic-relative coverage condition. This condition measures how well logged data distinguish relevant action-value differences without requiring an action density. Our main theorem gives finite-sample guarantees for learned-policy regret relative to the best value within a fixed smooth class of functional-action policies. The results allow trajectory lengths to be either bounded or growing and Q-functions to be fitted by either functional-input kernel ridge regression or adaptive functional neural networks. For a few examples, we can obtain polynomially decaying regret bounds in the number of logged transitions, up to logarithmic factors, with logarithmically many FQI iterations. Numerical experiments show gains of learned functional-action policies over constant-action policies and support our adoption of a critic-relative coverage condition.
• Abstract（参考訳）: オフライン強化学習は、以前に収集したデータから最適な決定ルールを求める。 いくつかの応用において、決定は、放射線治療におけるフルエンスマップや、ロボット工学における滑らかな運動軌跡のような全機能である。 本稿では,FQI(Find Q-iteration)とFQI(Functional Action)を相殺する有限サンプル理論について考察する。 第一に、機能的アクションに対するルベーグ確率密度の欠如は、カバレッジ記述を複雑にし、第二に、従来のカバレッジ要件を制限し、第二に、大きな機能的アクション空間は、FQIにおけるグリーディ最適化を困難にする。 これらの問題に対処するため,批判的報道条件下でのスムーズなポリシー探索について検討した。 この条件は、ログ化されたデータがアクション密度を必要とせず、関連するアクション値の違いをいかに区別するかを測定する。 我々の主定理は、関数-作用ポリシーの固定されたスムーズなクラス内での最良の値に対して、学習政治後悔に対する有限サンプル保証を与える。 その結果、軌道長は有界または成長し、Q-関数は機能的インプットカーネルリッジ回帰または適応的機能的ニューラルネットワークに適合する。 いくつかの例では、対数的に多くのFQI反復を伴う対数的因子まで、対数遷移の数で多項式的に減衰する後悔境界が得られる。 数値実験により、一定の行動政策に対する学習された機能的行動政策の成果が示され、批判的報道条件の採用を支援する。

関連論文リスト

• Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits [58.63897489864948]
  結果に基づくフィードバックによる強化学習は、根本的な課題に直面します。 適切なアクションにクレジットを割り当てるには? 本稿では,一般関数近似を用いたオンラインRLにおけるこの問題の包括的解析を行う。
  論文  参考訳（メタデータ） (2025-05-26T17:44:08Z)
• Q-function Decomposition with Intervention Semantics with Factored Action Spaces [51.01244229483353]
  元の作用空間の低次元射影部分空間上で定義されるQ-函数を考察し、分解されたQ-函数の不偏性について考察する。 これにより、標準モデルフリー強化学習アルゴリズムにおいて、予測Q関数を用いてQ関数を近似する動作分解強化学習と呼ばれる一般的なスキームが導かれる。
  論文  参考訳（メタデータ） (2025-04-30T05:26:51Z)
• Continuous-time q-Learning for Jump-Diffusion Models under Tsallis Entropy [8.924830900790713]
  本稿では,Tsallisエントロピー正規化の下で,Q-ラーニング(Q-ラーニングの連続的対応)を特徴とするジャンプ拡散モデルの連続時間強化学習について検討する。 ダークプールにおける最適液化問題と非LQ制御問題という2つの数値例について検討する。
  論文  参考訳（メタデータ） (2024-07-04T12:26:31Z)
• OIL-AD: An Anomaly Detection Framework for Sequential Decision Sequences [16.828732283348817]
  オフライン学習に基づく異常検出(OIL-AD)と呼ばれる教師なし手法を提案する。 OIL-ADは2つの抽出された行動特徴(行動最適性と順序関連)を用いて、意思決定シーケンスの異常を検出する。 実験の結果,OIL-ADはF1スコアを最大34.8%向上し,優れたオンライン異常検出性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-02-07T04:06:53Z)
• Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
  オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。 ソフトマージン条件下でのバニラQ関数の類似した結果を示す。 我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
  論文  参考訳（メタデータ） (2023-02-05T14:22:41Z)
• Inference on Strongly Identified Functionals of Weakly Identified Functions [71.42652863687117]
  本研究では,ニュアンス関数が存在しない場合でも,関数を強く識別するための新しい条件について検討する。 本稿では,プライマリおよびデバイアスのニュアンス関数に対するペナル化ミニマックス推定器を提案する。
  論文  参考訳（メタデータ） (2022-08-17T13:38:31Z)
• Gleo-Det: Deep Convolution Feature-Guided Detector with Local Entropy Optimization for Salient Points [5.955667705173262]
  本稿では, 深い畳み込み特徴のガイダンスを伴い, 繰り返し可能性の要求に基づき, きめ細かな制約を実現することを提案する。 畳み込み特徴のガイダンスを用いて、正と負の両面からコスト関数を定義する。
  論文  参考訳（メタデータ） (2022-04-27T12:40:21Z)
• Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning [92.05556163518999]
  MARLは、コミュニケーションと可観測性に様々な制約を課すことによって、問題を悪化させる。 値ベースの手法では、最適な値関数を正確に表現することが課題となる。 政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。 学習理論の観点からは、関連するアクション値関数を正確に表現することで、両方の問題に対処できることが示される。
  論文  参考訳（メタデータ） (2021-05-31T23:08:05Z)
• Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes [112.38662246621969]
  強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。 我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。 ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
  論文  参考訳（メタデータ） (2020-10-16T15:15:42Z)
• Deep Constrained Q-learning [15.582910645906145]
  多くの実世界の応用において、強化学習エージェントは特定の規則に従うか制約を満たすことなく、複数の目的を最適化する必要がある。 制約付きMDPの最適Q関数とそれに対応する安全ポリシーを学習するために,Q更新時の行動空間を直接制限する新しい非政治的強化学習フレームワークであるConstrained Q-learningを提案する。
  論文  参考訳（メタデータ） (2020-03-20T17:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。