Fugu-MT 論文翻訳(概要): Reinforcement Learning as (Discrete) Potential Theory

論文の概要: Reinforcement Learning as (Discrete) Potential Theory

arxiv url: http://arxiv.org/abs/2608.17181v1
Date: Mon, 17 Aug 2026 22:43:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 21:40:53.157367
Title: Reinforcement Learning as (Discrete) Potential Theory
Title（参考訳）: 離散ポテンシャル理論としての強化学習
Abstract要約: 強化学習理論はマルコフ連鎖を通じて確率論に依存する。確率論とポテンシャル論には深い関係がある。本稿では,中核的強化学習表現とアルゴリズムの潜在的な理論的視点について,固定的な政治仮定の下で考察する。
参考スコア（独自算出の注目度）: 0.36550217261503676
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Reinforcement learning (RL) theory fundamentally depends on probability theory through the Markov chain. There is a deep connection between probability theory and potential theory. This paper reviews that connection and explores the potential-theoretic viewpoint for core reinforcement learning representations and algorithms under a fixed-policy assumption. This viewpoint may offer a path for improved sample efficiency and formal constraints that can be applied to RL. When the fixed-policy assumption is relaxed, the linear potential theory framework can be naturally extended to the nonlinear case.
Abstract（参考訳）: 強化学習(RL)理論は基本的にマルコフ連鎖を通じて確率理論に依存する。確率論とポテンシャル論には深い関係がある。本稿では、その関係を考察し、固定政治の仮定の下でコア強化学習表現とアルゴリズムの潜在的な理論的視点について考察する。この視点は、RLに適用可能なサンプル効率と形式的制約を改善するためのパスを提供するかもしれない。固定政治仮定が緩和されると、線形ポテンシャル理論の枠組みは自然に非線形の場合にまで拡張できる。

関連論文リスト

Variational Inference for Evidential Deep Learning [69.9353638875714]
数学的に原理化されたフレームワークである変分推論証拠深層学習(VI-EDL)を提案する。 VI-EDLは、分布外検出、ノイズ検出、自律運転シナリオにおいて最先端の性能を達成する。
論文参考訳（メタデータ） (2026-05-26T02:32:59Z)
Conjugate Learning Theory: Uncovering the Mechanisms of Trainability and Generalization in Deep Neural Networks [0.0]
凸共役双対性に基づく共役学習理論フレームワークを開発し,この学習性特性を特徴付ける。我々は,ミニバッチ降下(SGD)による深層ニューラルネットワーク(DNN)のトレーニングが,経験的リスクのグローバルな最適化を実現することを実証した。条件付き一般化エントロピー測度に基づく一般化誤差に関する決定論的および確率的境界を導出する。
論文参考訳（メタデータ） (2026-02-18T04:26:55Z)
A Theoretical Framework for LLM Fine-tuning Using Early Stopping for Non-random Initialization [2.635536317968963]
中心的な疑問は、多くの異なるタスクにおいて強いパフォーマンスを達成するのに、なぜいくつかの微調整のエポックしか不十分なのかである。我々は,厳密な早期停止理論と注目に基づくニューラルタンジェントカーネル(NTK)を併用して,大規模言語モデルを構築する。
論文参考訳（メタデータ） (2026-02-15T00:43:21Z)
Towards a Theoretical Understanding to the Generalization of RLHF [15.278675771756541]
我々は線形報酬モデルの下で LLM の RLHF 上の一般化理論を構築する。この結果は, RLHF 後の LLM の一般化を実証的に観測する新たな理論的証拠を与えるものであると論じる。
論文参考訳（メタデータ） (2026-01-23T02:30:16Z)
Coupled Variational Reinforcement Learning for Language Model General Reasoning [83.82392089177841]
変分推論と強化学習を橋渡しするために,textitbCoupled bVari bReinforcement bLearning (CoVRL)を提案する。 CoVRLはベースモデルよりも12.4%向上し、最先端の検証不要なRLベースラインよりも2.3%向上した。
論文参考訳（メタデータ） (2025-12-14T07:03:51Z)
Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
論文参考訳（メタデータ） (2025-10-27T23:10:06Z)
CoT-Space: A Theoretical Framework for Internal Slow-Thinking via Reinforcement Learning [14.337056020596465]
CoT-Spaceは、離散トークン予測タスクから連続的、推論レベルのセマンティック空間内の最適化プロセスへの推論を、LLM(Large Language Models)に再キャストする新しい理論フレームワークである。最適CoT長への収束は、不適合と過適合の基本的なトレードオフの自然な結果であることを示す。
論文参考訳（メタデータ） (2025-09-04T09:02:16Z)
Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-12-18T18:58:42Z)
Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-29T15:00:09Z)
A theory of learning with constrained weight-distribution [17.492950552276067]
構造情報を制約として組み込んだニューラルネットワークにおける学習の統計力学的理論を開発する。我々は,確率分布のワッサーシュタイン空間における測地流として,我々のアルゴリズムのトレーニングを解釈できることを示した。我々の理論とアルゴリズムは、ウェイトに関する事前知識を学習に取り入れる新しい戦略を提供し、ニューラルネットワークの構造と機能の間の強力な関係を明らかにする。
論文参考訳（メタデータ） (2022-06-14T00:43:34Z)
False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文参考訳（メタデータ） (2021-10-24T15:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。