論文の概要: Market-Alignment Risk in Pricing Agents: Trace Diagnostics and Trace-Prior RL under Hidden Competitor State

• arxiv url: http://arxiv.org/abs/2605.06529v1
• Date: Thu, 07 May 2026 16:31:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.000059
• Title: Market-Alignment Risk in Pricing Agents: Trace Diagnostics and Trace-Prior RL under Hidden Competitor State
• Title（参考訳）: 価格設定エージェントの市場適応リスク:隠れ競合状態下でのトレーサ診断とトレーサプライアRL
• Authors: Peiying Zhu, Sidi Chang,
• Abstract要約: 2ホテルの収益管理シミュレータの故障について検討する。 ホテルAは、一定の規則に基づく収益管理競争相手に対してエージェントを訓練する。
• 参考スコア（独自算出の注目度）: 0.39287497907611874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outcome metrics can certify the wrong behavior. We study this failure in a two-hotel revenue-management simulator where Hotel A trains an agent against a fixed rule-based revenue-management competitor, Hotel B. A standard learning agent can obtain near-reference revenue per available room (RevPAR) while failing to learn market-like yield management: it sells too aggressively, undercuts, or collapses to modal price buckets. We diagnose this as a Goodhart-style failure under partial observability. Hotel A cannot observe the competitor's remaining inventory, booking curve, or pricing rule, so the same Hotel A-visible state maps to multiple plausible Hotel B prices. Deterministic value-based RL and deterministic copying collapse this unresolved uncertainty into shortcut behavior. We introduce a trace-level diagnostic protocol using RevPAR, occupancy, ADR, full price-bucket distributions, L1/JS distances, and seed-level confidence intervals. The verified repair is Trace-Prior RL: learn a distributional market prior from lagged market traces, then train a stochastic pricing policy with a RevPAR reward and a KL penalty to the learned prior. The final policy matches Hotel B's RevPAR, occupancy, ADR, and price distribution within seed-level uncertainty, while still optimizing Hotel A's own reward. We argue that the contribution is not a new optimizer and not a hotel-pricing leaderboard, but a reproducible failure-and-repair recipe for agentic systems where scalar rewards are easy to game and the intended behavior is only visible in traces. A key finding is that higher exact action accuracy can worsen aggregate trace alignment when the target is distributional.
• Abstract（参考訳）: アウトカムメトリクスは間違った振る舞いを証明できます。 本研究では、ホテルAが固定ルールベースの収益管理競合相手であるホテルBに対してエージェントを訓練する2つのホテル収益管理シミュレータにおいて、この失敗について検討する。標準学習エージェントは、市場のような収量管理を学習しながら、利用可能な部屋(RevPAR)当たりのほぼ参照収益を得ることができる。 部分的な可観測性の下では、Goodhartスタイルの障害であると診断する。 ホテルAは、競合相手の在庫、予約曲線、価格ルールを観察できないため、同じホテルA可視状態が複数のホテルB価格にマップされている。 決定論的値に基づくRLと決定論的コピーは、未解決の不確かさをショートカット動作に分解する。 本稿では,RevPAR,占有率,ADR,全価格分布,L1/JS距離,シードレベルの信頼区間を用いたトレースレベル診断プロトコルを提案する。 検証された修理は、トレーラー・プライア・RL(Trace-Prior RL)であり、ラッジされた市場トレースから先立って流通市場を学習し、その後、RevPARの報酬とKLのペナルティで確率的な価格政策を訓練する。 最終方針は、ホテルBのRevPAR、占有率、ADR、シードレベルの不確実性の中での価格分布と一致し、ホテルA自身の報酬を最適化している。 我々は、この貢献はホテル価格のリーダーボードではなく、スカラー報酬をゲームしやすく、意図した振る舞いをトレースでのみ見ることができるエージェントシステムのための再現可能な失敗と修復のレシピであると主張している。 重要な発見は、標的が分布しているときに、より高精度な行動精度が集合的トレースアライメントを悪化させることである。

関連論文リスト

• AI Alignment via Incentives and Correction [14.986111703734222]
  我々は、抑止と執行の法・経済モデルのレンズを通してAIアライメントを研究する。 解決者は、説得力があるが誤った答えを出し、不確実性を隠蔽したり、急激なショートカットを悪用する恩恵を受けることができる。 この相互作用を、主成分が共同補正結果よりも報酬を選択する2エージェントモデルで定式化する。
  論文  参考訳（メタデータ） (2026-05-02T23:28:02Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models [68.45272703833209]
  現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。 これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。 我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
  論文  参考訳（メタデータ） (2026-02-20T23:38:03Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• LLM Collusion [5.363252654303049]
  大型言語モデル(LLM)は、両方の販売者が同じ事前訓練されたモデルに依存している場合、二重言語での共謀を促進することができる。 LLMのロバスト性とロバスト性の設定は相転移によって共謀を誘発できることを示す。
  論文  参考訳（メタデータ） (2026-01-03T20:38:21Z)
• AlberDICE: Addressing Out-Of-Distribution Joint Actions in Offline Multi-Agent RL via Alternating Stationary Distribution Correction Estimation [65.4532392602682]
  オフライン強化学習(RL)の主な課題の1つは、データ収集ポリシーから逸脱した学習ポリシーから生じる分散シフトである。 これはしばしば、政策改善中のアウト・オブ・ディストリビューション(OOD)アクションを避けることで対処される。 本稿では,定常分布最適化に基づく個別エージェントの集中学習を行うオフラインMARLアルゴリズムAlberDICEを紹介する。
  論文  参考訳（メタデータ） (2023-11-03T18:56:48Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。