論文の概要: Next Best Action: Causal Constrained Offline RL for Business Action Targeting

• arxiv url: http://arxiv.org/abs/2610.26817v1
• Date: Mon, 19 Oct 2026 17:51:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:08:44.142202
• Title: Next Best Action: Causal Constrained Offline RL for Business Action Targeting
• Title（参考訳）: 次のベストアクション:ビジネス行動ターゲティングのためのオフラインRLの因果制約
• Abstract要約: 次のベストアクションシステムは、顧客の介入の中から選択し、長期的な経済価値を最大化し、複雑な運用上の制約を満足させ、慎重な根拠を保たなければならない。 拘束マルコフ決定過程(CMDP)としてNBAを定式化する。 次に、推定された顧客動態の外部因果補正をCMDPの線形プログラミング(LP)の定式化に直接統合する。 結果として得られたポリシーは、顧客状態に基づいたアクションを選択し、ビジネスガードレールを明示的に実施しながら、長期的な価値を最大化する。
• 参考スコア（独自算出の注目度）: 13.424908228278873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Next Best Action (NBA) systems must select among customer interventions (e.g., discounts, promotions, and lifecycle actions), maximize long-term economic value, satisfy complex operational constraints, and remain causally grounded. Existing approaches lack a rigorous framework for meeting these requirements jointly. We address this gap by formulating NBA as a Constrained Markov Decision Process (CMDP). We then integrate off-policy causal correction of the estimated customer dynamics directly into the Linear Programming (LP) formulation of the CMDP. The resulting policy selects actions based on customer states to maximize long-term value while explicitly enforcing business guardrails. Furthermore, the LP formulation yields shadow prices that quantify the economic trade-offs of operational constraints (e.g., fairness and user welfare), enhancing policy interpretability. We validate our proposed offline Reinforcement Learning (RL) framework on an industry case study involving rideshare coupon targeting, where customer states are defined by Recency, Frequency, and Monetary (RFM) stages. We evaluate performance using model-based off-policy evaluation, with causal dynamics estimated from a temporal holdout. Under the observed coupon budget and RFM state representation, our optimized policy improves customer lifetime value (LTV) by 19% over the estimated behavior policy and 8% over a myopic baseline. Although the demonstrated action space is binary, the proposed framework is action-agnostic, yielding a general-purpose decision module for targeting systems that manage multiple interventions.
• Abstract（参考訳）: 次のBest Action(NBA)システムは、顧客の介入(割引、プロモーション、ライフサイクルアクションなど)を選択し、長期的な経済価値を最大化し、複雑な運用上の制約を満たすとともに、慎重な根拠を保たなければならない。 既存のアプローチには、これらの要件を共同で満たすための厳格なフレームワークがありません。 NBAをCMDP(Constrained Markov Decision Process)として定式化することで、このギャップに対処する。 次に、推定された顧客動態の外部因果補正をCMDPの線形プログラミング(LP)の定式化に直接統合する。 結果として得られたポリシーは、顧客状態に基づいたアクションを選択し、ビジネスガードレールを明示的に実施しながら、長期的な価値を最大化する。 さらに、LPの定式化は、運用上の制約(例えば、公正性やユーザ福祉)の経済的トレードオフを定量化するシャドー価格をもたらし、政策の解釈可能性を高める。 提案するオフライン強化学習(RL)フレームワークを,Recency, Frequency, Monetary(RFM)の段階によって顧客状態が定義されるライドシェアクーポンターゲティングを含む産業ケーススタディで検証した。 本研究では,時間的留意点から推定した因果ダイナミクスを用いて,モデルに基づくオフポジー評価による性能評価を行った。 調査したクーポン予算とRAM状態表現の下で、最適化されたポリシーは、推定行動方針よりも19%、ミオピックベースラインより8%改善する。 実証されたアクション空間はバイナリだが、提案するフレームワークはアクションに依存しず、複数の介入を管理するシステムをターゲットにした汎用的な決定モジュールを提供する。

関連論文リスト

• Guardrailed Uplift Targeting: A Causal Optimization Playbook for Marketing Strategy [0.0]
  本稿では,不均質処理の高速化を制約ターゲティング戦略に変換するマーケティング決定フレームワークを提案する。 このフレームワークは、オフライン評価における妥当性と静的ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-12-22T19:02:09Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Structured Dynamic Pricing: Optimal Regret in a Global Shrinkage Model [50.06663781566795]
  消費者の嗜好と価格感が時間とともに変化する動的モデルを考える。 我々は,モデルパラメータの順序を事前に把握している透視者と比較して,収益損失が予想される,後悔による動的価格政策の性能を計測する。 提案した政策の最適性を示すだけでなく,政策立案のためには,利用可能な構造情報を組み込むことが不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-03-28T00:23:23Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• BCRLSP: An Offline Reinforcement Learning Framework for Sequential Targeted Promotion [8.499811428928071]
  本稿では,利用者に送付される現金ボーナスの価値を決定するために,予算制約付き逐次促進学習フレームワークを提案する。 BCRLSPは, 長期顧客維持率が高く, 各種ベースラインよりも低コストであることを示す。
  論文  参考訳（メタデータ） (2022-07-16T00:10:12Z)
• COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
  オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。 定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。 我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
  論文  参考訳（メタデータ） (2022-04-19T15:55:47Z)
• An Offline Risk-aware Policy Selection Method for Bayesian Markov Decision Processes [0.0]
  Exploitation vs. Caution (EvC) はベイズ形式主義のモデル不確実性をエレガントに取り入れたパラダイムである。 我々は,多種多様なMDPクラスを提供する異なる離散的かつシンプルな環境において,最先端のアプローチでEvCを検証する。 テストシナリオでは、EvCは堅牢なポリシーを選択することができ、実践者にとって有用なツールとして際立っている。
  論文  参考訳（メタデータ） (2021-05-27T20:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。