論文の概要: Maximum-Entropy Exploration with Future State-Action Visitation Measures

• arxiv url: http://arxiv.org/abs/2603.18965v1
• Date: Thu, 19 Mar 2026 14:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.199532
• Title: Maximum-Entropy Exploration with Future State-Action Visitation Measures
• Title（参考訳）: 今後の動向を考慮した最大エントロピー探査
• Abstract要約: 本研究では,今後来訪する国家行動特徴の割引分布のエントロピーに比例する固有報酬について検討する。 これらの本質的な報酬の期待和は、トラジェクトリーで訪れた状態-作用特徴の割引分布のエントロピーに低い境界があることが示される。 実験の結果,新しい目的が個々の軌跡における特徴の来訪を改善することにつながることが明らかとなった。
• 参考スコア（独自算出の注目度）: 1.3159512679346688
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Maximum entropy reinforcement learning motivates agents to explore states and actions to maximize the entropy of some distribution, typically by providing additional intrinsic rewards proportional to that entropy function. In this paper, we study intrinsic rewards proportional to the entropy of the discounted distribution of state-action features visited during future time steps. This approach is motivated by two results. First, we show that the expected sum of these intrinsic rewards is a lower bound on the entropy of the discounted distribution of state-action features visited in trajectories starting from the initial states, which we relate to an alternative maximum entropy objective. Second, we show that the distribution used in the intrinsic reward definition is the fixed point of a contraction operator and can therefore be estimated off-policy. Experiments highlight that the new objective leads to improved visitation of features within individual trajectories, in exchange for slightly reduced visitation of features in expectation over different trajectories, as suggested by the lower bound. It also leads to improved convergence speed for learning exploration-only agents. Control performance remains similar across most methods on the considered benchmarks.
• Abstract（参考訳）: 最大エントロピー強化学習(英: Maximum entropy reinforcement learning)は、ある分布のエントロピーを最大化するために、エージェントが状態や作用を探索する動機を与える。 本稿では,今後来訪する国家行動特徴の割引分布のエントロピーに比例する本質的な報酬について検討する。 このアプローチは2つの結果によって動機付けられます。 まず、これらの固有報酬の期待和は、初期状態から始まる軌道上から訪れた状態-作用特徴の割引分布のエントロピーの最小値であり、代替の最大エントロピーの目的と関係していることを示す。 第二に、本質的な報酬定義で用いられる分布は、縮約作用素の固定点であり、したがって、非政治的であると推定できることを示す。 実験では、新しい目的が個々の軌跡内の特徴の訪問を改善することにつながることが示され、それと引き換えに、下限によって示唆されるように、異なる軌跡に対する期待における特徴の訪問をわずかに減らした。 また、探索専用エージェントを学習するための収束速度も向上する。 制御性能は、考慮されたベンチマーク上のほとんどのメソッドでよく似ている。

関連論文リスト

• Rethinking Exploration in RLVR: From Entropy Regularization to Refinement via Bidirectional Entropy Modulation [33.15281300187744]
  報酬を伴う強化学習は、大きな言語モデルの推論能力を進歩させてきた。 テキスト制限探索と呼ばれる限界に直面しており、この政策は急速に狭い解の集合に収束する。 我々は,肯定的および否定的なロールアウトの変調を明示的に分離する探索的フレームワークである textbfAsymGRPO を提案する。
  論文  参考訳（メタデータ） (2026-04-06T17:42:38Z)
• Maximum Entropy Exploration Without the Rollouts [5.008597638379228]
  探索問題の原則的反復は、誘導定常訪問分布のエントロピーを最大化するポリシーを見つけることである。 本研究では,訪問分布自体から報酬が導出される本質的な平均回帰を考えることにより,最適ポリシが定常エントロピーを最大化する。 この知見は、明示的なロールアウトと分布推定を避けるために、最大エントロピー探索問題の解法であるEVEに導かれる。
  論文  参考訳（メタデータ） (2026-03-12T18:00:03Z)
• Effective Test-Time Scaling of Discrete Diffusion through Iterative Refinement [51.54933696252104]
  離散拡散に適した新しいテスト時間スケーリング手法であるイテレーティブ・リワードガイドリファインメント(IterRef)を導入する。 我々は、このプロセスをMultiple-Try Metropolisフレームワークで形式化し、報酬整合分布への収束を証明した。 IterRefは計算予算の低さで大幅に上昇し、最先端のベースラインをはるかに超えている。
  論文  参考訳（メタデータ） (2025-11-04T02:33:23Z)
• Shift Before You Learn: Enabling Low-Rank Representations in Reinforcement Learning [56.87989363424]
  シフトした後継尺度において,低ランク構造が自然に現れることを示す。 有効な低ランク近似と推定に必要なシフトの量を定量化する。
  論文  参考訳（メタデータ） (2025-09-05T15:48:20Z)
• Off-Policy Maximum Entropy RL with Future State and Action Visitation Measures [1.3159512679346688]
  そこで本研究では,本質的な報酬関数が,割引された状態と行動の分布の相対エントロピーである,という新しいアプローチを提案する。 したがって、既存のアルゴリズムは、この固定点のオフポジーを学習し、本質的な報酬を計算するために適応することができる。 結果として得られた政策は、良好な状態対応空間をカバーし、高性能な制御を実現することを示します。
  論文  参考訳（メタデータ） (2024-12-09T16:56:06Z)
• The Limits of Pure Exploration in POMDPs: When the Observation Entropy is Enough [40.82741665804367]
  そこで本研究では,観測上のエントロピーを最大化するための簡単なアプローチについて検討する。 観測エントロピーの正規化を計算し、原理的性能を向上させるために、後者の知識をどのように活用できるかを示す。
  論文  参考訳（メタデータ） (2024-06-18T17:00:13Z)
• Reward Collapse in Aligning Large Language Models [73.78408135192471]
  著者らは,ランキングに基づくアプローチがテキストの報酬分布をもたらす経験的観察である「テクストトレワード崩壊現象」について検討した。 実験結果から,提案手法により,報酬モデルのトレーニングにおいて,報酬の崩壊が著しく軽減されることが示唆された。
  論文  参考訳（メタデータ） (2023-05-28T02:12:00Z)
• Complex behavior from intrinsic motivation to occupy action-state path space [0.0]
  行動の目標は、行動や状態の経路の将来の占有を最大化することである。 この占有原則によると、報酬はそれぞれの目標ではなく、パス空間を占有する手段である。 本研究では,舞踊,隠蔽,利他的行動の基本形態などの複雑な行動が,自然に経路空間を占有する本質的な動機から生じることを示す。
  論文  参考訳（メタデータ） (2022-05-20T17:32:41Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Action Redundancy in Reinforcement Learning [54.291331971813364]
  遷移エントロピーはモデル依存遷移エントロピーと作用冗長性という2つの用語で記述できることを示す。 その結果,行動冗長性は強化学習の根本的な問題であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T19:47:26Z)
• A maximum-entropy approach to off-policy evaluation in average-reward MDPs [54.967872716145656]
  この研究は、無限水平非カウントマルコフ決定過程(MDPs)における関数近似を伴うオフ・ポリティ・アセスメント(OPE)に焦点を当てる。 提案手法は,第1の有限サンプル OPE 誤差境界であり,既存の結果がエピソードおよびディスカウントケースを超えて拡張される。 この結果から,教師あり学習における最大エントロピー的アプローチを並列化して,十分な統計値を持つ指数関数型家族分布が得られた。
  論文  参考訳（メタデータ） (2020-06-17T18:13:37Z)
• Maximizing Information Gain in Partially Observable Environments via Prediction Reward [64.24528565312463]
  本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。 負のエントロピーと予測される予測報酬の正確な誤差を導出する。 この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
  論文  参考訳（メタデータ） (2020-05-11T08:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。