論文の概要: Off-Policy Learning with Limited Supply

• arxiv url: http://arxiv.org/abs/2603.18702v1
• Date: Thu, 19 Mar 2026 10:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.075961
• Title: Off-Policy Learning with Limited Supply
• Title（参考訳）: 限られた供給によるオフ・ポリティ・ラーニング
• Abstract要約: 我々は,レコメンデーションシステムやオンライン広告といった現実世界のアプリケーションにおいて重要な役割を担う,文脈的包帯におけるオフ・ポリシー・ラーニング(OPL)について研究する。 OPLS(Off-Policy Learning with Limited supply)と呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 16.526020858677104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study off-policy learning (OPL) in contextual bandits, which plays a key role in a wide range of real-world applications such as recommendation systems and online advertising. Typical OPL in contextual bandits assumes an unconstrained environment where a policy can select the same item infinitely. However, in many practical applications, including coupon allocation and e-commerce, limited supply constrains items through budget limits on distributed coupons or inventory restrictions on products. In these settings, greedily selecting the item with the highest expected reward for the current user may lead to early depletion of that item, making it unavailable for future users who could potentially generate higher expected rewards. As a result, OPL methods that are optimal in unconstrained settings may become suboptimal in limited supply settings. To address the issue, we provide a theoretical analysis showing that conventional greedy OPL approaches may fail to maximize the policy performance, and demonstrate that policies with superior performance must exist in limited supply settings. Based on this insight, we introduce a novel method called Off-Policy learning with Limited Supply (OPLS). Rather than simply selecting the item with the highest expected reward, OPLS focuses on items with relatively higher expected rewards compared to the other users, enabling more efficient allocation of items with limited supply. Our empirical results on both synthetic and real-world datasets show that OPLS outperforms existing OPL methods in contextual bandit problems with limited supply.
• Abstract（参考訳）: 本研究では,レコメンデーションシステムやオンライン広告など,現実世界の幅広いアプリケーションにおいて重要な役割を担う,文脈的包帯におけるオフ・ポリシー・ラーニング(OPL)について検討する。 文脈的包帯における典型的なOPLは、ポリシーが同じ項目を無限に選択できる制約のない環境を仮定する。 しかし、クーポンの割り当てや電子商取引など、多くの実践的応用において、分散クーポンの予算制限や商品の在庫制限を通じて供給制限事項を限定している。 これらの設定では、現在のユーザに対して最も期待されている報酬でアイテムを選択すると、そのアイテムが早期に枯渇する可能性があるため、期待される報酬を発生させる可能性のある将来のユーザでは利用できない。 その結果、制約のない設定で最適であるOPLメソッドは、限られた供給設定で最適以下になる可能性がある。 この問題に対処するため,従来の強欲なOPLアプローチでは政策性能の最大化に失敗する可能性があり,限られた供給条件下では,優れた性能を持つ政策が存在する必要があることを示す理論的解析を行った。 この知見に基づいて,OPLS(Off-Policy Learning with Limited supply)と呼ばれる新しい手法を導入する。 OPLSは、単に最も期待された報酬でアイテムを選択するのではなく、他のユーザーに比べて比較的高い報酬を持つアイテムに焦点を当て、限られた供給でアイテムのより効率的な割り当てを可能にしている。 合成および実世界の両方のデータセットにおける実験結果から,OPLSは,供給が限定された文脈的帯域問題において,既存のOPL手法よりも優れた性能を示した。

関連論文リスト

• RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning [49.04912820721943]
  Group Prioritized Off-Policy Optimization (POPO)は、ロールアウトオーバーヘッドを発生させることなく、効果的なトレーニングバッチを活用するフレームワークである。 POPOは2つの重要なコンポーネントで構成されている。 POPOはRL微細化を著しく加速し、ロールアウトを著しく少なくして強力な推論性能を達成する。
  論文  参考訳（メタデータ） (2026-05-31T15:06:38Z)
• Online Allocation with Unknown Shared Supply [31.55000083809067]
  本研究では,中央ハブが連続的な需要に直面した複数のサイトに対して,有限かつ未知の供給を割り当てるステートフルオンラインモデルについて検討する。 古典的なストック・ツー・ストックやメイク・ツー・オーダーの在庫モデルとは異なり、OSSAは将来の需要に対してヘッジのバックログ化と補充を妨げている。 我々は,GPAが全供給に依存しない加算項までオフライン最適化を実現することを示す。
  論文  参考訳（メタデータ） (2026-05-08T00:59:11Z)
• Group-Sensitive Offline Contextual Bandits [14.94229258597513]
  オフラインのコンテキスト帯は、オンラインインタラクションを必要とせずに、歴史的な/オフラインデータからポリシーを学ぶことができる。 一部のグループは、学習した方針の恩恵を受け、公平性への懸念を高めます。 オフラインの文脈的包帯におけるグループ感性公正性制約について検討し,グループ感性報酬格差を低減した。
  論文  参考訳（メタデータ） (2025-10-31T02:55:51Z)
• Bayesian Optimization for Dynamic Pricing and Learning [0.306238659426286]
  ダイナミックな価格設定は、市場の需要に応じて企業の収益を最大化するために製品の販売価格を調整するプラクティスである。 従来の手法では需要関数の特定のパラメトリック形式を前提としており、強化学習(RL)を用いて最適に近い価格戦略を特定できる。 本稿では,制約付きモデリング仮定を避けるために,動的価格に対する非パラメトリックなアプローチを提案する。
  論文  参考訳（メタデータ） (2025-10-14T12:28:06Z)
• Primal-Dual Direct Preference Optimization for Constrained LLM Alignment [16.080857375857697]
  大規模言語モデル(LLM)における制約付きアライメントの問題について検討する。 そこで本研究では,報酬選好データに標準DPOを用いてモデルをトレーニングする,新しい原始双対DPO手法を提案する。 我々は,生産政策の最適度及び制約違反に関する厳密な理論的保証を確立する。
  論文  参考訳（メタデータ） (2025-10-07T09:10:35Z)
• A General Framework for Off-Policy Learning with Partially-Observed Reward [13.866986480307007]
  文脈的包帯におけるオフ政治学習(OPL)は、期待される目標報酬を最大化する政策を学ぶことを目的としている。 報酬が部分的にしか観察されない場合、OPLの有効性は著しく低下する。 部分観測リワード(HyPeR)のためのハイブリッドポリシ最適化法を提案する。
  論文  参考訳（メタデータ） (2025-06-17T11:58:11Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Large Language Model driven Policy Exploration for Recommender Systems [50.70228564385797]
  静的ユーザデータに基づいてトレーニングされたオフラインRLポリシは、動的オンライン環境にデプロイされた場合、分散シフトに対して脆弱である。 オンラインRLベースのRSも、トレーニングされていないポリシーや不安定なポリシーにユーザをさらけ出すリスクがあるため、運用デプロイメントの課題に直面している。 大規模言語モデル(LLM)は、ユーザー目標と事前学習ポリシーをオフラインで模倣する有望なソリューションを提供する。 LLMから抽出したユーザの嗜好を利用した対話型学習ポリシー(iALP)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:37:44Z)
• Classical and Deep Reinforcement Learning Inventory Control Policies for Pharmaceutical Supply Chains with Perishability and Non-Stationarity [1.0124625066746595]
  本稿では, 医薬品サプライチェーンの在庫管理方針について検討し, パーシビリティ, 不確実性, 非定常需要といった課題に対処する。 当社は3つのポリシー--order-up-to(OUT)、予測在庫レベル(PIL)、深層強化学習(DRL)をベンチマークする。
  論文  参考訳（メタデータ） (2025-01-18T22:40:33Z)
• A Primal-Dual Online Learning Approach for Dynamic Pricing of Sequentially Displayed Complementary Items under Sale Constraints [54.46126953873298]
  顧客に対して順次表示される補完アイテムの動的価格設定の問題に対処する。 各項目の価格を個別に最適化するのは効果がないため、補完項目のコヒーレントな価格ポリシーが不可欠である。 実世界のデータからランダムに生成した合成設定を用いて,我々のアプローチを実証的に評価し,制約違反や後悔の観点からその性能を比較した。
  論文  参考訳（メタデータ） (2024-07-08T09:55:31Z)
• COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
  オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。 定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。 我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
  論文  参考訳（メタデータ） (2022-04-19T15:55:47Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation [49.69139684065241]
  コンテキスト多重武装バンディット(MAB)は、様々な問題において最先端のパフォーマンスを達成する。 本稿では,階層型適応型文脈帯域幅法(HATCH)を提案する。
  論文  参考訳（メタデータ） (2020-04-02T17:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。