Fugu-MT 論文翻訳(概要): On The Statistical Complexity of Offline Decision-Making

論文の概要: On The Statistical Complexity of Offline Decision-Making

arxiv url: http://arxiv.org/abs/2501.06339v1
Date: Fri, 10 Jan 2025 20:45:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-14 14:29:49.796904
Title: On The Statistical Complexity of Offline Decision-Making
Title（参考訳）: オフライン意思決定の統計的複雑さについて
Authors: Thanh Nguyen-Tang, Raman Arora,
Abstract要約: 関数近似を用いたオフライン意思決定の統計的複雑さについて検討する。文脈的帯域幅とマルコフ決定過程に対する最小値の最適化率を示す。
参考スコア（独自算出の注目度）: 24.928268203611047
License:
Abstract: We study the statistical complexity of offline decision-making with function approximation, establishing (near) minimax-optimal rates for stochastic contextual bandits and Markov decision processes. The performance limits are captured by the pseudo-dimension of the (value) function class and a new characterization of the behavior policy that \emph{strictly} subsumes all the previous notions of data coverage in the offline decision-making literature. In addition, we seek to understand the benefits of using offline data in online decision-making and show nearly minimax-optimal rates in a wide range of regimes.
Abstract（参考訳）: 本稿では,関数近似によるオフライン意思決定の統計的複雑さについて検討し,確率的文脈的帯域幅とマルコフ決定過程の最小値最適速度を(ほぼ)確立する。性能限界は、(値)関数クラスの擬似次元と、オフライン意思決定文献におけるデータカバレッジの以前の概念を全て仮定する振る舞いポリシーの新たな特徴によって捉えられる。さらに、オンライン意思決定においてオフラインデータを使用することの利点を理解し、幅広い体制において極小最適率を示すことを目指す。

関連論文リスト

Sample Complexity of Offline Distributionally Robust Linear Markov Decision Processes [37.15580574143281]
オフライン強化学習(RL) 本稿では、オフラインデータを用いた全変動距離を特徴とする不確実性を伴う分布安定線形マルコフ決定過程(MDP)のサンプル複雑性について考察する。我々は悲観的なモデルに基づくアルゴリズムを開発し、最小限のデータカバレッジ仮定の下でそのサンプルの複雑さを確立する。
論文参考訳（メタデータ） (2024-03-19T17:48:42Z)
High-probability sample complexities for policy evaluation with linear function approximation [88.87036653258977]
本研究では,2つの広く利用されている政策評価アルゴリズムに対して,最適線形係数の予め定義された推定誤差を保証するために必要なサンプル複素量について検討する。高確率収束保証に縛られた最初のサンプル複雑性を確立し、許容レベルへの最適依存を実現する。
論文参考訳（メタデータ） (2023-05-30T12:58:39Z)
Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。ソフトマージン条件下でのバニラQ関数の類似した結果を示す。我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
論文参考訳（メタデータ） (2023-02-05T14:22:41Z)
Offline Reinforcement Learning via Linear-Programming with Error-Bound Induced Constraints [26.008426384903764]
オフライン強化学習(RL)は、事前に収集されたデータセットを使用して、マルコフ決定プロセス(MDP)の最適ポリシーを見つけることを目的としている。本研究では,オフラインRLにおけるマルコフ決定過程の線形プログラミング (LP) の再検討を行う。
論文参考訳（メタデータ） (2022-12-28T15:28:12Z)
Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes [99.26864533035454]
半可観測マルコフ決定過程におけるオフライン強化学習(RL)について検討する。本稿では,UnderlineProxy変数 underlinePessimistic UnderlinePolicy UnderlineOptimization (textttP3O)アルゴリズムを提案する。 textttP3Oは、確立されたデータセットを持つPOMDPのための証明可能な最初のオフラインRLアルゴリズムである。
論文参考訳（メタデータ） (2022-05-26T19:13:55Z)
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
論文参考訳（メタデータ） (2022-03-11T09:00:12Z)
Offline Neural Contextual Bandits: Pessimism, Optimization and Generalization [42.865641215856925]
本稿では,ニューラルネットワーク関数近似を用いた効率の良いオフラインコンテキスト帯域幅を提案する。本手法は,従来のOPL法よりも分布シフトの軽度な条件下で,未知の文脈を一般化することを示す。また, 実世界のOPL問題において, 提案手法の実証的有効性を示す。
論文参考訳（メタデータ） (2021-11-27T03:57:13Z)
Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文参考訳（メタデータ） (2021-06-29T09:48:46Z)
Contextual Inverse Optimization: Offline and Online Learning [3.6739949215165164]
オフラインとオンラインのコンテキスト最適化の問題について,フィードバック情報を用いて検討する。我々は後悔を最小限に抑えることを目指しており、これは我々の損失と全知の託宣によって引き起こされた損失との違いとして定義される。
論文参考訳（メタデータ） (2021-06-26T13:09:52Z)
What are the Statistical Limits of Offline RL with Linear Function Approximation? [70.33301077240763]
オフライン強化学習は、オフライン(観測的)データを活用して、シーケンシャルな意思決定戦略の学習を導く。本研究は,提案可能なサンプル効率のオフライン強化学習を可能にする表現条件と分布条件の基本的な問題に焦点を当てる。
論文参考訳（メタデータ） (2020-10-22T17:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。