論文の概要: Teaching Precommitted Agents: Model-Free Policy Evaluation and Control in Quasi-Hyperbolic Discounted MDPs

• arxiv url: http://arxiv.org/abs/2509.06094v1
• Date: Sun, 07 Sep 2025 15:16:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.854961
• Title: Teaching Precommitted Agents: Model-Free Policy Evaluation and Control in Quasi-Hyperbolic Discounted MDPs
• Title（参考訳）: 予備エージェントの指導:準双曲型MDPにおけるモデルフリー政策評価と制御
• Authors: S. R. Eshwar,
• Abstract要約: Quasi-Hyperbolic (QH)割引は、時間非一貫性の嗜好に対して単純だが強力なモデルを提供する。 本稿では,QHを優先するプレコミテッドエージェントの理論的およびアルゴリズム的ギャップについて論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time-inconsistent preferences, where agents favor smaller-sooner over larger-later rewards, are a key feature of human and animal decision-making. Quasi-Hyperbolic (QH) discounting provides a simple yet powerful model for this behavior, but its integration into the reinforcement learning (RL) framework has been limited. This paper addresses key theoretical and algorithmic gaps for precommitted agents with QH preferences. We make two primary contributions: (i) we formally characterize the structure of the optimal policy, proving for the first time that it reduces to a simple one-step non-stationary form; and (ii) we design the first practical, model-free algorithms for both policy evaluation and Q-learning in this setting, both with provable convergence guarantees. Our results provide foundational insights for incorporating QH preferences in RL.
• Abstract（参考訳）: エージェントがより大きな報酬よりも小さなスクーナーを好む時間的一貫性のない嗜好は、人間と動物の意思決定の重要な特徴である。 準双曲型(QH)割引は、この振る舞いに対して単純だが強力なモデルを提供するが、強化学習(RL)フレームワークへの統合は制限されている。 本稿では,QHを優先するプレコミテッドエージェントの理論的およびアルゴリズム的ギャップについて論じる。 主な貢献は2つあります。 i) 最適な政策の構造を公式に特徴付け、それが単純な1段階の非定常形式に還元されることを初めて証明し、 (II)この設定において,実証可能な収束保証とともに,ポリシー評価とQ-ラーニングの両方のための最初の実用的モデルフリーアルゴリズムを設計する。 以上の結果から,QH選択をRLに組み込む上での基礎的な知見が得られた。

関連論文リスト

• STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
  我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。 我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。 MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-08-26T08:47:58Z)
• Smart Exploration in Reinforcement Learning using Bounded Uncertainty Models [0.0]
  本稿では、事前モデル知識を用いて探索過程をガイドし、強化学習を高速化することを提案する。 我々は,Q-函数の最適Q-函数への収束に関する理論的保証を,探索政策のクラスとして提案する。
  論文  参考訳（メタデータ） (2025-04-08T12:33:38Z)
• A Unified Pairwise Framework for RLHF: Bridging Generative Reward Modeling and Policy Optimization [18.892740849961456]
  Reinforcement Learning from Human Feedback (RLHF) は、大規模言語モデルと人間の好みを協調させる重要なパラダイムとして生まれてきた。 本稿では,これらの課題に対処するRLHFフレームワークであるPairwise-RLを紹介する。
  論文  参考訳（メタデータ） (2025-04-07T11:34:48Z)
• Learning Reward and Policy Jointly from Demonstration and Preference Improves Alignment [58.049113055986375]
  我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T01:20:53Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• On Practical Robust Reinforcement Learning: Practical Uncertainty Set and Double-Agent Algorithm [11.748284119769039]
  ロバスト強化学習(RRL)は、マルコフ決定プロセス(MDP)の不確実性に対して最悪のケースパフォーマンスを最適化するための堅牢なポリシーを求めることを目的としている。
  論文  参考訳（メタデータ） (2023-05-11T08:52:09Z)
• A Strong Baseline for Batch Imitation Learning [25.392006064406967]
  厳密なデータパラダイムの下での模倣学習のための,実装が容易で斬新なアルゴリズムを提供する。 このパラダイムにより、安全やコストが重要となる環境において、我々のアルゴリズムが利用できるようになる。
  論文  参考訳（メタデータ） (2023-02-06T14:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。