論文の概要: Reinforcement Learning with Conformal Action Sets: An Application to Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2610.08743v1
• Date: Tue, 06 Oct 2026 17:40:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.153933
• Title: Reinforcement Learning with Conformal Action Sets: An Application to Sequential Recommendation
• Title（参考訳）: コンフォーマル・アクション・セットによる強化学習-シークエンシャル・レコメンデーションへの応用
• Abstract要約: キャリブレート・プルーニング(RLCP)を用いた強化学習を提案する。 RLCPは、批評家スコアとオンライン閾値を使用して保持されたアクションセットに適応する。 KuaiRand-PureとMovieLens 1Mの実験では、2つのRCCP実装と4つのRLベースラインを比較した。
• 参考スコア（独自算出の注目度）: 9.696645577322455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential recommenders typically use a fixed slate size even though the number of useful alternatives changes within a session. We propose Reinforcement Learning with Calibrated Pruning (RLCP), which adapts the retained action set using critic scores and an online threshold. The threshold is updated from binary feedback indicating whether the set contains an action in a proxy target. We prove a deterministic bound on the observed proxy miss rate along adaptive trajectories. To quantify the effect of pruning on reward, we derive an exact decomposition of value loss into filtering and selection losses. Under explicit proxy and critic approximation conditions, this decomposition yields a finite session reward bound that also accounts for imperfect selection and set truncation, without requiring the learning parameters to converge. Experiments on KuaiRand-Pure and MovieLens 1M compare two RLCP implementations with four RL baselines. In each of the 19 configurations, at least one RLCP variant achieves the highest catalog diversity, reaching $1.11\times$ to $5.21\times$ that of the strongest baseline, with competitive session depth and no larger retained sets.
• Abstract（参考訳）: 逐次リコメンデータは、セッション内で有用な代替案の数が変化しても、固定スレートサイズを使用するのが一般的である。 本稿では,批判スコアとオンラインしきい値を用いて保持された行動集合を適応させる,校正プルーニングによる強化学習(RLCP)を提案する。 閾値は、プロキシターゲットにアクションが含まれているかどうかを示すバイナリフィードバックから更新される。 我々は、適応軌道に沿って観測されたプロキシミス率に決定論的境界を証明した。 報奨に対するプルーニングの効果を定量化するため,フィルタリングと選択損失に対する値損失の正確な分解を導出する。 明示的なプロキシと批判的近似条件の下で、この分解は、学習パラメータの収束を必要とせず、不完全な選択と切り離しを考慮に入れた有限セッション報酬境界を生じる。 KuaiRand-PureとMovieLens 1Mの実験では、2つのRCCP実装と4つのRLベースラインを比較した。 19のそれぞれの構成において、少なくとも1つのRCCP変種は最も高いカタログの多様性を達成し、最強のベースラインの1.11\times$から5.21\times$に到達した。

関連論文リスト

• S-SPPO: Semantic-Calibrated Self-Play Preference Optimization [36.01916066772865]
  本稿では,自己生成型ウインロースペアの学習によってポリシーを反復的に洗練する自己再生選好最適化(SPPO)を提案する。 本研究はSPPOにおける重要な不安定性を明らかにし,選択が過度に自信を持った勝利を意味的に区別不能な応答に割り当てる場合,最適化は政策の退化を招く。 Llama-3-8Bを用いたAlpacaEval 2.0ではS-SPPOは52.19%の勝利率と47.46%の勝利率を達成した。
  論文  参考訳（メタデータ） (2026-06-01T02:06:58Z)
• Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration [61.46060073417047]
  MTP(Multi-Token Prediction)は、事前トレーニングにおいて広く採用されているモジュールである。 RL目標に対するMPPの段差効果は,第1次相関と第2次ペナルティの2つの項に分解できることを示す。 本稿では,ログ確率プロキシを用いて最適係数を無視可能なコストでオンラインで追跡する適応型手法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T09:07:06Z)
• Double Check My Desired Return: Transformer with Target Alignment for Offline Reinforcement Learning [64.6334337560557]
  教師付き学習(RvS)による強化学習は、シーケンスモデリングタスクとしてオフラインRLをフレーム化する。 決定変換器(DT)は、実際の完了したリターンを特定のターゲットリターンと確実に整合させるのに苦労する。 そこで我々は,Offline RLの目標アライメントによる変換器の二重チェックを行う新しいアプローチであるDoctorを提案する。
  論文  参考訳（メタデータ） (2025-08-22T14:30:53Z)
• Reverse Preference Optimization for Complex Instruction Following [61.39734201711077]
  本稿では,Reverse Preference Optimization (RPO) という,シンプルで効果的な手法を提案する。 選択された応答が完璧であることを保証するために、命令内の制約を動的に反転させることで、優先ペアのノイズを緩和する。 RPOはモデルサイズで効果的にスケールし、70B RPOモデルはGPT-4oを超える。
  論文  参考訳（メタデータ） (2025-05-28T09:44:27Z)
• What is the Alignment Objective of GRPO? [30.36318490634376]
  本稿では,GRPOアルゴリズムの定常ポリシを特徴付けるためのフレームワークを提案する。 選好アグリゲーションの正確な形は、報酬選好モデルの定義方法とペナルティ関数から生じる。 二分問題に対する集合的選好の明示的な特徴付けとして,大小2の群に対して,大小2の群に対して,大小の群を限定する。
  論文  参考訳（メタデータ） (2025-02-25T15:56:56Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Generative Slate Recommendation with Reinforcement Learning [49.75985313698214]
  強化学習アルゴリズムは、レコメンデータシステムのユーザエンゲージメントを最適化するために使用することができる。 しかし、RLアプローチはスレートレコメンデーションシナリオでは難解である。 この設定では、アクションはアイテムの組み合わせを含むことができるスレートに対応する。 本研究では,変分オートエンコーダによって学習された連続低次元ラテント空間におけるスレートの符号化を提案する。 我々は、(i)以前の作業で要求される仮定を緩和し、(ii)完全なスレートをモデル化することで、アクション選択の品質を向上させることができる。
  論文  参考訳（メタデータ） (2023-01-20T15:28:09Z)
• Learning over no-Preferred and Preferred Sequence of items for Robust Recommendation [66.8722561224499]
  暗黙のフィードバックよりも大規模なレコメンダーシステム(RS)を訓練するための理論的に確立されたシーケンシャル戦略を提案する。 本稿では、モデルパラメータをモメンタリメソッドまたはグラデーションベースのアプローチで更新するこの戦略の2つのバリエーションを紹介します。
  論文  参考訳（メタデータ） (2020-12-12T22:10:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。