論文の概要: Density-Matrix Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.17214v1
• Date: Mon, 12 Oct 2026 18:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:41:55.271776
• Title: Density-Matrix Reinforcement Learning
• Title（参考訳）: 密度行列強化学習
• Abstract要約: 各状態において、標準ポリシーはアクション毎に1つの確率を格納する。 コヒーレンスは2つの設定で結果を変える。 いくつかのコヒーレントな政策は、古典的な政策よりも厳密に期待された報酬を得る。
• 参考スコア（独自算出の注目度）: 6.667641054172343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What information does a reinforcement learning policy omit? At each state, a standard policy stores one probability per action. It has no place to record how actions relate to each other, such as which pairs go together and which conflict. We ask when this missing structure matters, and we give exact answers. We store the policy at each state as a density matrix, a positive semidefinite, unit-trace matrix borrowed from quantum information theory. We use it here as a purely classical data structure, computed on ordinary classical hardware. The diagonal holds the usual action probabilities. The off-diagonal entries, called coherences, are new parameters. This gives density-matrix reinforcement learning (DMRL). Coherences change outcomes in two settings. First, suppose a policy is regularized toward a coherent reference policy using matrix relative entropy. The optimum then has coherences that no diagonal reference policy produces, and its action probabilities can depend on the reference policy's coherences. This is relevant to fine-tuning of large language models (LLMs) with a Kullback--Leibler penalty. Second, suppose the agent chooses a unit-vector action and the reward is a quadratic function of that vector. This could arise when an LLM judge scores a weighted consolidation of reasoning paths, or when coupled robotic sensors each respond to a mix of actions. Then some coherent policies earn strictly more expected reward than every classical policy with the same action probabilities, and we give the margin in closed form. In a two-action example, both policies assign probability $0.5$ to each action, yet the classical one earns expected reward $0$ while the coherent one earns $1$, the maximum. Outside these two settings, DMRL matches or transfers the classical results. This is a theory paper. All results are proved, and we report no empirical evaluation.
• Abstract（参考訳）: 強化学習政策はどのような情報を省略するのか? 各状態において、標準ポリシーはアクション毎に1つの確率を格納する。 どのペアが一緒に行き、どの衝突をするかなど、アクションが互いにどのように関係しているかを記録する場所はありません。 この欠落した構造がいつ重要かを問うと、正確な答えが得られます。 我々は、量子情報理論から借用された正の半定値単位トレース行列である密度行列として、各状態にポリシーを格納する。 ここでは、通常の古典的ハードウェア上で計算される、純粋に古典的なデータ構造として使用します。 対角線は通常の行動確率を保持する。 コヒーレンスと呼ばれる非対角成分は新しいパラメータである。 これにより密度行列強化学習(DMRL)が実現される。 コヒーレンスは2つの設定で結果を変える。 まず、行列相対エントロピーを用いたコヒーレント参照ポリシーに対してポリシーが正規化されていると仮定する。 最適条件は、対角的な参照ポリシーが生成しないコヒーレンスを持ち、そのアクション確率は参照ポリシーのコヒーレンスに依存する。 これは、Kullback--Leiblerペナルティを持つ大きな言語モデル(LLM)の微調整に関係している。 第二に、エージェントが単位ベクトル作用を選択し、報酬はそのベクトルの二次函数であるとする。 LLMの審査員が推論経路の重み付けされた統合を採点したり、ロボットセンサーが組み合わされたりすると、これは起こりうる。 すると、コヒーレントなポリシーは、同じ行動確率を持つすべての古典的なポリシーよりも厳密に期待された報酬を得、その利得を閉形式で与える。 2つのアクションの例では、どちらのポリシーもそれぞれのアクションに0.5ドルという確率を割り当てるが、古典的なポリシーでは0ドル、コヒーレントなポリシーでは最大で1ドルである。 これら2つの設定以外では、DMRLは古典的な結果にマッチするか、転送する。 これは理論論文です。 すべての結果が証明され、実証的な評価は得られない。

関連論文リスト

• From Optimal Actions to World Models: Identifiability of Transition Kernels in Discounted MDPs [0.0]
  最適行動のみからマルコフ決定過程の遷移確率を復元できるものについて検討する。 すべての報酬に対して最適なアクションを知ることは、同じ固定ポリシーが従えば、ひとつのアクションが他のアクションよりもどれだけ良いかを教えてくれます。
  論文  参考訳（メタデータ） (2026-08-07T14:56:11Z)
• See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection [51.59559387222532]
  エンドツーエンド自動運転の最近の進歩は、パッチアライメント機能で訓練されたポリシーが、アウト・オブ・ディストリビューション(OOD)よりも一般化していることを示している。 我々は、より堅牢で、一般化可能で、効率的な学習ポリシーのためのシンプルで効果的なアプローチである2.4-Patch-Selection(SPS)を提案する。
  論文  参考訳（メタデータ） (2026-01-15T18:58:33Z)
• Best-Effort Policies for Robust Markov Decision Processes [69.60742680559788]
  我々は、ロバスト MDP (RMDPs) として知られる遷移確率の組によるマルコフ決定過程(MDPs)の共通一般化について研究する。 このような政策を最適な堅牢なベストプラクティス(ORBE)政策と呼ぶ。 我々はORBEポリシーが常に存在することを証明し、その構造を特徴付け、標準的なロバストな値反復よりも小さなオーバヘッドで計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-08-11T09:18:34Z)
• Oracle-Efficient Reinforcement Learning for Max Value Ensembles [7.404901768256101]
  大または無限の状態空間における強化学習(RL)は、理論上、実験的に困難である。 この作業では、$textitmax-following Policy$と競合することを目指しています。 我々の主な成果は、構成ポリシーのみにアクセスすると、最大フォローポリシーと競合する効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-27T01:08:23Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Provably Efficient Model-free RL in Leader-Follower MDP with Linear Function Approximation [1.370633147306388]
  エピソードの各ステップにエージェント(リーダー)が作用し、次に別のエージェント(フォロワー)が作用するマルチエージェント・エピソードMDPについて考察する。 モデルフリーなRLアルゴリズムを提案し、$tildemathcalO(sqrtd3H3T)$ regret boundsをリーダとフォロワーの両方に対して実現可能であることを示す。 これは、機能近似を持つ非明視的フォロワーを持つマルコフゲームに対する、最初のサブ線形後悔の保証である。
  論文  参考訳（メタデータ） (2022-11-28T21:59:58Z)
• Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions [145.54544979467872]
  本研究では,ゼロサムマルコフゲームに対して,構造的だが未知の遷移を伴う架空のプレイポリシー最適化アルゴリズムを提案し,解析する。 我々は、2年制の競争ゲームシナリオで、$K$のエピソードに続き、$widetildemathcalO(sqrtK)$ regret boundsを証明した。 提案アルゴリズムは,アッパー信頼境界(UCB)型最適化と,同時政策最適化の範囲内での架空のプレイの組み合わせを特徴とする。
  論文  参考訳（メタデータ） (2022-07-25T18:29:16Z)
• Constructing a Good Behavior Basis for Transfer using Generalized Policy Updates [63.58053355357644]
  そこで我々は,優れた政策集合を学習する問題を考察し,組み合わせることで,目に見えない多種多様な強化学習タスクを解くことができることを示した。 理論的には、独立したポリシーのセットと呼ぶ、特定の多様なポリシーのセットにアクセスできることによって、ハイレベルなパフォーマンスを即時に達成できることが示される。
  論文  参考訳（メタデータ） (2021-12-30T12:20:46Z)
• Off-Belief Learning [21.98027225621791]
  完全に根ざした最適な政策を学ぶために、OBL(off-belief Learning)を提示します。 OBLは独自のポリシーに収束し、ゼロショット調整により適している。 OBLは単純な玩具セットとヒト/AI/ゼロショット調整のベンチマークの両方において強い性能を示す。
  論文  参考訳（メタデータ） (2021-03-06T01:09:55Z)
• Off-policy Maximum Entropy Reinforcement Learning : Soft Actor-Critic with Advantage Weighted Mixture Policy(SAC-AWMP) [13.5333616830354]
  このようにパラメータ化されたポリシーをAWMP(Advantage Weighted Mixture Policy)と呼び、この考え方を適用してソフト・アクター・クリティカル(Soft-actor-critic, SAC)を改善する。 実験の結果,SAC AWMPは4つの連続制御タスクにおいて明らかにSACよりも優れていた。
  論文  参考訳（メタデータ） (2020-02-07T15:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。