論文の概要: Recommender regret for improving regularised RL estimation with bandits and MCTS

• arxiv url: http://arxiv.org/abs/2610.32910v1
• Date: Fri, 23 Oct 2026 17:14:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.618129
• Title: Recommender regret for improving regularised RL estimation with bandits and MCTS
• Title（参考訳）: バンディットとMCTSによる正規化RL推定の改善に対するレコメンダ後悔
• Abstract要約: 推定生成をレコメンデーションプロセスとして定式化し、バンディットに基づくサンプリングを改善演算子として扱う。 我々は,レギュラー・アウェア・レコメンデータ・リコメンデータ・リコメンデータを定義し,その下限を解析し,一様サンプリングのような単純なアルゴリズムがこれらのバウンダリを実現することを証明した。 我々の実験は、科学応用における正規化MCTSの可能性を初めて特徴づけた。
• 参考スコア（独自算出の注目度）: 57.88511459331598
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Regularised reinforcement learning (RL) algorithms rely on estimators, like Monte Carlo tree search or one-step look-ahead, to provide policy, value, or Q-value estimates in training and inference. However, existing bandit-based estimation frameworks evaluate sampling efficiency, not the quality of estimates. We address this by formalising estimate generation as a recommendation process, treating bandit-based sampling as an improvement operator. To evaluate the quality of a recommendation (estimate), we define regulariser-aware recommender regrets, analysing their lower bounds, and proving that simple algorithms like uniform sampling can achieve these bounds. Finally, we unify bandit- and search-based target improvement under recommender MCTS. Across synthetic trees, arcade games, and scientific discovery tasks, recommenders often yield faster target convergence and superior downstream performance. Our experiments characterise for the first time the potential of regularised MCTS in scientific applications.
• Abstract（参考訳）: 正規化強化学習(RL)アルゴリズムは、モンテカルロ木探索やワンステップルックアヘッドのような推定器に依存して、トレーニングと推論におけるポリシー、価値、Q値の推定を提供する。 しかし、既存の帯域ベース推定フレームワークは、サンプリング効率を評価するが、評価の質は評価しない。 本稿では,推定生成をレコメンデーションプロセスとして定式化し,バンディットに基づくサンプリングを改善演算子として扱うことでこの問題に対処する。 本研究では,レコメンデーションの質を評価するために,レギュラー・アウェア・レコメンデータの後悔を定義し,その下限を分析し,一様サンプリングのような単純なアルゴリズムがこれらの限界を達成することを証明した。 最後に,レコメンデータMCTSの下で,帯域幅と探索に基づくターゲット改善を統一する。 合成木、アーケードゲーム、科学的な発見タスク全体にわたって、推奨者はより高速な目標収束とより優れた下流のパフォーマンスを得る。 我々の実験は、科学応用における正規化MCTSのポテンシャルを初めて特徴づけるものである。

関連論文リスト

• OmniQuality-R: Advancing Reward Models Through All-Encompassing Quality Assessment [55.59322229889159]
  我々は,マルチタスク品質推論を連続的かつ解釈可能な報酬信号に変換する統一報酬モデリングフレームワークOmniQuality-Rを提案する。 我々は、推論強化報酬モデルデータセットを使用して、教師付き微調整のための信頼性の高いチェーンオブ思考データセットを構築します。 OmniQuality-Rは,美的品質評価,技術的品質評価,テキスト画像アライメントという3つの重要なIQAタスクで評価する。
  論文  参考訳（メタデータ） (2025-10-12T13:46:28Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Improved Estimation of Ranks for Learning Item Recommenders with Negative Sampling [4.316676800486521]
  レコメンデーションシステムでは、推奨アイテムの数が増加している。 このコストを下げるために、ネガティブな項目をサンプリングすることが一般的になった。 本研究では, 負のサンプリングによって生じるバイアスの補正の利点を実証する。
  論文  参考訳（メタデータ） (2024-10-08T21:09:55Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)
• On Estimating Recommendation Evaluation Metrics under Sampling [21.74579327147525]
  サンプリングをレコメンデーション評価に使用する方法についての理解とコンセンサスが未だに欠けている。 本稿では,経験的ランク分布の学習に関する新しい研究課題と,推定ランク分布に基づく新しいアプローチを導入し,トップkの指標を推定する。
  論文  参考訳（メタデータ） (2021-03-02T05:08:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。