Fugu-MT 論文翻訳(概要): Leveraging (Biased) Information: Multi-armed Bandits with Offline Data

論文の概要: Leveraging (Biased) Information: Multi-armed Bandits with Offline Data

arxiv url: http://arxiv.org/abs/2405.02594v1
Date: Sat, 4 May 2024 07:32:34 GMT
ステータス: 処理完了
システム内更新日: 2024-05-07 19:20:44.582961
Title: Leveraging (Biased) Information: Multi-armed Bandits with Offline Data
Title（参考訳）: Leveraging (Biased) Information:オフラインデータ付きマルチアームバンド
Authors: Wang Chi Cheung, Lixing Lyu,
Abstract要約: オフラインデータの存在下においても,非予測ポリシが (Auer et al. 2002) によって UCB ポリシーを上回り得ないことを示す。非自明な上限が与えられると、UDBよりも優れるオンラインポリシーMIN-UCBを提案する。
参考スコア（独自算出の注目度）: 5.279257531335345
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We leverage offline data to facilitate online learning in stochastic multi-armed bandits. The probability distributions that govern the offline data and the online rewards can be different. Without any non-trivial upper bound on their difference, we show that no non-anticipatory policy can outperform the UCB policy by (Auer et al. 2002), even in the presence of offline data. In complement, we propose an online policy MIN-UCB, which outperforms UCB when a non-trivial upper bound is given. MIN-UCB adaptively chooses to utilize the offline data when they are deemed informative, and to ignore them otherwise. MIN-UCB is shown to be tight in terms of both instance independent and dependent regret bounds. Finally, we corroborate the theoretical results with numerical experiments.
Abstract（参考訳）: オフラインデータを活用して、確率的マルチアームバンディットにおけるオンライン学習を容易にする。オフラインデータとオンライン報酬を管理する確率分布が異なる場合がある。それらの差に非自明な上限がなければ、オフラインデータが存在する場合でも(Auer et al 2002)、予想外の政策は UCB の政策より優れていることが示される。補足的に、非自明な上限が与えられる場合、UDBよりも優れたオンラインポリシーMIN-UCBを提案する。 MIN-UCBは、情報化されていると判断された場合のオフラインデータの利用を適応的に選択し、それ以外は無視する。 MIN-UCBは、インスタンス独立および依存的後悔境界の両方の観点から厳密であることが示されている。最後に, 理論的結果と数値実験を相関させる。

関連論文リスト

Understanding the performance gap between online and offline alignment algorithms [63.137832242488926]
オフラインのアルゴリズムは、ペアの分類が得意になるようにポリシーを訓練し、オンラインのアルゴリズムは世代ごとに良いことを示しています。このことは、識別能力と生成能力の間のユニークな相互作用を示唆しており、これはサンプリングプロセスに大きく影響している。我々の研究は、AIアライメントにおけるオンラインサンプリングの重要な役割に光を当て、オフラインアライメントアルゴリズムのある種の根本的な課題を示唆している。
論文参考訳（メタデータ） (2024-05-14T09:12:30Z)
MAHALO: Unifying Offline Reinforcement Learning and Imitation Learning from Observations [43.9636309593499]
我々は、観測からオフライン政策学習(PLfO)と呼ばれる、シーケンシャルな意思決定のための新しいパラダイムについて研究する。我々は、$textbfM$odality-agnostic $textbfA$dversarial $textbfH$ypothesis $textbfA$daptation for $textbfL$earning from $textbfO$bservation (MAHALO)と呼ばれるオフラインPLfOに対する一般的なアプローチを提示します。
論文参考訳（メタデータ） (2023-03-30T05:27:46Z)
Bridging Imitation and Online Reinforcement Learning: An Optimistic Tale [27.02990488317357]
不完全な専門家によるオフラインのデモンストレーションデータセットを前提として、MDPのオンライン学習パフォーマンスをブートストラップする上で、それを活用するための最善の方法は何か? Informed Posterior Sampling-based RL (iPSRL)アルゴリズムを最初に提案する。このアルゴリズムは非現実的であるため、オンラインRLのためのRSVIアルゴリズムと模倣学習を組み合わせたiRLSVIアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-03-20T18:16:25Z)
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning [27.80266207283246]
我々は、エージェントがオフラインデータセットから最初に学習され、オンラインにトレーニングされたオフライン-オンライン設定について検討する。オフラインおよびオンラインデータを効果的に活用するためのAdaptive Policy Learningというフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-14T08:13:21Z)
Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching [109.5084863685397]
オフライン模倣学習(IL)は、環境と相互作用することなく、事前にコンパイルされたデモからパフォーマンスポリシーを学習する機能を提供する。非対称な f-分割を明示的なサポート正規化に用いたRelaxDICEを提案する。提案手法は,6つの標準連続制御環境において,最上位のオフライン手法を著しく上回っている。
論文参考訳（メタデータ） (2023-03-05T03:35:11Z)
Discriminator-Weighted Offline Imitation Learning from Suboptimal Demonstrations [5.760034336327491]
エージェントがオンライン環境を付加せずに最適な専門家行動ポリシーを学習することを目的としたオフライン学習(IL)の課題について検討する。専門家と非専門家のデータを区別するために,新たな識別器を導入する。提案アルゴリズムは,ベースラインアルゴリズムよりも高いリターンと高速なトレーニング速度を実現する。
論文参考訳（メタデータ） (2022-07-20T17:29:04Z)
When Should We Prefer Offline Reinforcement Learning Over Behavioral Cloning? [86.43517734716606]
オフライン強化学習(RL)アルゴリズムは、オンラインインタラクションなしで、以前に収集した経験を生かして効果的なポリシーを得ることができる。行動クローニング(BC)アルゴリズムは、教師付き学習を通じてデータセットのサブセットを模倣する。十分にノイズの多い準最適データに基づいて訓練されたポリシーは、専門家データを持つBCアルゴリズムよりも優れた性能が得られることを示す。
論文参考訳（メタデータ） (2022-04-12T08:25:34Z)
Curriculum Offline Imitation Learning [72.1015201041391]
オフラインの強化学習タスクでは、エージェントは、環境とのさらなるインタラクションなしに、事前にコンパイルされたデータセットから学ぶ必要がある。我々は,適応的な近隣政策を模倣する経験的選択戦略を,より高いリターンで活用するテキストカリキュラムオフライン学習(COIL)を提案する。連続制御ベンチマークでは、COILを模倣ベースとRLベースの両方の手法と比較し、混合データセット上で平凡な振る舞いを学ぶことを避けるだけでなく、最先端のオフラインRL手法と競合することを示します。
論文参考訳（メタデータ） (2021-11-03T08:02:48Z)
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support [53.11601029040302]
現在のオフライン政治学習アルゴリズムは、主に逆確率スコア(IPS)重み付けに基づいている。オフライン学習とオンライン探索を組み合わせた新しい手法を提案する。提案手法は,最小限のオンライン探索数を用いて理論的保証を伴う最適政策を決定する。
論文参考訳（メタデータ） (2021-07-24T05:07:43Z)
Continuous Doubly Constrained Batch Reinforcement Learning [93.23842221189658]
環境とのオンラインインタラクションではなく、固定されたオフラインデータセットのみを使用して効果的なポリシーを学ぶバッチRLのアルゴリズムを提案する。バッチRLにおける制限されたデータは、トレーニングデータに不十分に表現された状態/動作の値推定に固有の不確実性をもたらす。この分散を減らすための政策制約と、過度に楽観的な見積もりを妨げる価値制約という2つの簡単な罰則によってこの問題を軽減することを提案する。
論文参考訳（メタデータ） (2021-02-18T08:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。