論文の概要: V-SHARE: Provable Convergence Guarantees for Advantage-based Algorithms

• arxiv url: http://arxiv.org/abs/2610.21448v1
• Date: Thu, 15 Oct 2026 07:52:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.259493
• Title: V-SHARE: Provable Convergence Guarantees for Advantage-based Algorithms
• Title（参考訳）: V-SHARE:アドバンテージベースのアルゴリズムのための予測収束保証
• Abstract要約: 強化学習では、アクション-値関数を状態依存値成分とアクション固有の利点に分解することで、アクション間で情報を共有する。 V-Motivatedは,相互作用値共有と重み付き補正を組み合わせた,有利な価値学習アルゴリズムである。
• 参考スコア（独自算出の注目度）: 15.070194453266069
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In reinforcement learning, advantage-based value-learning methods, unlike standard Q-learning, share information across actions by decomposing the action-value function into a state-dependent value component and action-specific advantages. While this mechanism has proven effective in both tabular and deep reinforcement learning, its theoretical understanding remains incomplete. We introduce V-SHARE, an advantage-based value-learning algorithm that combines cross-action value sharing with an importance-weighted Bellman-residual correction. To our knowledge, we provide the first complete theoretical characterization of an advantage-based algorithm, including both asymptotic convergence and non-asymptotic finite-sample guarantees. We identify a regime in which V-SHARE mitigates the rare-action bottleneck of asynchronous Q-learning and uncover a contraction--variance tradeoff between stronger deterministic contraction and increased importance-weighting noise. Motivated by this tradeoff, we develop decreasing residual-preconditioning schedules that combine faster early contraction with lower asymptotic noise. We further develop a two-timescale analysis that removes the single-timescale residual-weight threshold while preserving convergence guarantees. Experiments on discrete Markov decision processes (MDPs) and deep reinforcement-learning benchmarks corroborate our results.
• Abstract（参考訳）: 強化学習において、利点に基づく価値学習法は、標準的なQ学習とは異なり、アクション値関数を状態依存の値成分とアクション固有の利点に分解することで、アクション間で情報を共有する。 このメカニズムは表層学習と深層学習の両方に有効であることが証明されているが、理論的な理解はいまだに不十分である。 本稿では,重み付けされたベルマン残差補正とクロスアクション値共有を組み合わせた利点に基づく価値学習アルゴリズムであるV-SHAREを紹介する。 我々の知る限り、我々は、漸近収束と非漸近有限サンプル保証の両方を含む、強みに基づくアルゴリズムの完全な理論的特徴付けを初めて提供する。 本稿では,V-SHAREが非同期Q-ラーニングの希少なボトルネックを緩和し,より強い決定論的収縮と重み付け雑音の増大との相違点を明らかにする。 このトレードオフにより、より高速な早期収縮と低漸近雑音を組み合わせた残条件スケジュールの短縮が図られる。 さらに,収束保証を保ちながら,単一時間スケール残留重量閾値を除去する2時間スケール解析法を開発した。 離散マルコフ決定過程(MDPs)と深部強化ベンチマークベンチマークの実験は、我々の結果を裏付けるものである。

関連論文リスト

• Advancing Analytic Class-Incremental Learning through Vision-Language Calibration [6.871141687303144]
  事前学習モデル(PTM)を用いたクラスインクリメンタルラーニング(CIL)は、効率的な適応と長期的安定性の間に重要なトレードオフに直面している。 我々は,2段階の視覚言語キャリブレーション戦略によって解析的CILを向上する新しいデュアルブランチフレームワークである textbfVILA を提案する。 我々のフレームワークは解析学習の単純さと高忠実度予測を調和させる。
  論文  参考訳（メタデータ） (2026-02-14T08:32:51Z)
• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [45.99743804547533]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• Uncertainty quantification for Markov chain induced martingales with application to temporal difference learning [55.197497603087065]
  線形関数近似を用いた時間差分学習アルゴリズムの性能解析を行った。 マルコフ連鎖によって誘導されるベクトル値マルティンタに対する新規で一般的な高次元濃度不等式とベリー-エッセイン境界を確立する。
  論文  参考訳（メタデータ） (2025-02-19T15:33:55Z)
• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [55.80276145563105]
  The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 3つの理論的な貢献により、現在の最先端の成果が向上する。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Provable Contrastive Continual Learning [7.6989463205452555]
  我々は,従来のタスクのトレーニング損失によって,モデルの性能がいかに境界づけられているかを明らかにする理論的な性能保証を確立する。 これらの保証の理論的解析から着想を得て,CILAと呼ばれる新しいコントラスト型連続学習アルゴリズムを提案する。 提案手法は,標準ベンチマークの精度を向上し,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-05-29T04:48:11Z)
• Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and Algorithms [30.389055604165222]
  マルチクラス分類設定において,留意を伴う学習の鍵となる枠組みについて検討する。 この設定では、学習者は事前に定義されたコストで予測をしないことを選択できる。 我々は、強い非漸近的および仮説的整合性を保証するために、いくつかの新しい代理損失の族を導入する。
  論文  参考訳（メタデータ） (2023-10-23T10:16:27Z)
• The Efficacy of Pessimism in Asynchronous Q-Learning [17.193902915070506]
  ペシミズムの原理を非同期Q-ラーニングに組み込んだアルゴリズムフレームワークを開発した。 このフレームワークは、サンプル効率の向上と、ほぼ専門的なデータの存在下での適応性の向上につながります。 我々の結果は、マルコフ的非i.d.データの存在下での悲観主義原理の使用に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2022-03-14T17:59:01Z)
• Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency [83.02999769628593]
  強化学習におけるオフ・ポリティィ・アセスメント(OPE)の理論的特徴について述べる。 ミニマックス法により、重みと品質関数の高速収束を実現することができることを示す。 非タブラル環境における1次効率を持つ最初の有限サンプル結果を示す。
  論文  参考訳（メタデータ） (2021-02-05T03:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。