Fugu-MT 論文翻訳(概要): Accelerating Q-learning through Efficient Value-Sharing across Actions

論文の概要: Accelerating Q-learning through Efficient Value-Sharing across Actions

arxiv url: http://arxiv.org/abs/2606.29806v1
Date: Mon, 29 Jun 2026 05:33:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:16.061599
Title: Accelerating Q-learning through Efficient Value-Sharing across Actions
Title（参考訳）: アクション間での効果的な価値共有によるQ-ラーニングの高速化
Abstract要約: アクション値は、Q学習のような多くの制御アルゴリズムの基礎となる。状態内のアクション間で値を共有することで、アクション価値学習を加速する平均拡張層を導入する。 57のAtariゲーム間でのアグリゲーションパフォーマンスを改善し、アクションギャップを増大させ、価値過大評価を劇的に削減する。
参考スコア（独自算出の注目度）: 27.186311423333517
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Action-values are foundational to many control algorithms such as Q-learning. Therefore learning action-values efficiently is central to reinforcement learning (RL). However, learning them can be slow, requiring many updates to move values from their initialization, typically near zero, to their true values, which may be far from zero. Moreover, action-value learning algorithms typically update each state-action pair independently, without learning shared value structure across actions within a state. In this paper, we address these inefficiencies by introducing the mean-expansion layer, which accelerates action-value learning by sharing values across actions within a state and by changing the problem from directly learning potentially large action-values to learning a lower-norm representation of them. In deep RL, this layer can be applied as a parameter-free addition to Q-network architectures without altering the underlying algorithm. Applied to deep Q-networks and implicit quantile networks, it improves aggregate performance across 57 Atari games while increasing action gaps and dramatically reducing value overestimation.
Abstract（参考訳）: アクション値は、Q学習のような多くの制御アルゴリズムの基礎となる。したがって、効率的に行動値を学ぶことは強化学習(RL)の中心となる。しかし、学習は遅くなり、初期化(典型的にはゼロに近い)から真の値に値を動かすために多くの更新が必要になる。さらに、アクション-バリュー学習アルゴリズムは、通常、状態内のアクション間での共有値構造を学習することなく、各状態-アクションペアを独立して更新する。本稿では,ある状態内の行動にまたがる値を共有することで,行動価値学習を促進させる平均拡大層を導入することにより,これらの非効率性に対処し,潜在的に大きな行動価値を直接学習することから,それらの低ノルム表現を学習することへ移行する。ディープRLでは、この層は、基礎となるアルゴリズムを変更することなく、Q-ネットワークアーキテクチャにパラメータフリーの追加として適用することができる。深いQ-networksと暗黙的な量子ネットワークに適用すると、57のAtariゲーム間でのアグリゲーション性能が向上し、アクションギャップが増大し、価値過大評価が劇的に減少する。

関連論文リスト

Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文参考訳（メタデータ） (2025-07-31T05:34:27Z)
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
論文参考訳（メタデータ） (2025-06-12T05:25:35Z)
Features that Make a Difference: Leveraging Gradients for Improved Dictionary Learning [4.051777802443125]
スパースオートエンコーダ(SAE)は、ニューラルネットワーク表現を抽出するための有望なアプローチである。我々は、TopKアクティベーション関数を増強することにより、$k$-sparseのオートエンコーダアーキテクチャを変更するGradient SAEを紹介する。 g-SAEが任意の文脈でモデルを操る上で平均的に効果的である潜伏者を学ぶ証拠が見つかる。
論文参考訳（メタデータ） (2024-11-15T18:03:52Z)
Highway Graph to Accelerate Reinforcement Learning [18.849312069946993]
強化学習アルゴリズムは訓練効率の低下に苦慮することが多い。状態遷移をモデル化するためのハイウェイグラフを導入する。提案手法は,既存のRLアルゴリズムよりもはるかに高速に学習する。
論文参考訳（メタデータ） (2024-05-20T02:09:07Z)
Efficient Off-Policy Learning for High-Dimensional Action Spaces [22.129001951441015]
既存の非政治強化学習アルゴリズムは、しばしば明示的な状態-作用-値関数表現に依存している。本稿では,非政治的な深層強化学習に対する批判として,状態値関数のみを利用する効率的なアプローチを提案する。
論文参考訳（メタデータ） (2024-03-07T12:45:51Z)
Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
論文参考訳（メタデータ） (2022-06-25T03:02:25Z)
Centralizing State-Values in Dueling Networks for Multi-Robot Reinforcement Learning Mapless Navigation [87.85646257351212]
本稿では,CTDE(Training and Decentralized Execution)パラダイムにおけるマルチロボットマップレスナビゲーションの問題点について考察する。この問題は、各ロボットが観察を他のロボットと明示的に共有することなく、その経路を考えると困難である。我々は,集中型状態値ネットワークを用いて共同状態値を計算するCTDEの新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-16T16:47:00Z)
Recomposing the Reinforcement Learning Building Blocks with Hypernetworks [19.523737925041278]
一次ネットワークが条件付き動的ネットワークの重みを決定することを示す。このアプローチは勾配近似を改善し、学習ステップの分散を低減する。我々は、RL(TD3とSAC)とMeta-RL(MAMLとPEARL)の両方において、異なる移動タスクと異なるアルゴリズムで一貫した改善を示す。
論文参考訳（メタデータ） (2021-06-12T19:43:12Z)
Learning to Represent Action Values as a Hypergraph on the Action Vertices [17.811355496708728]
行動値推定は強化学習法(RL)の重要な要素である。多次元のアクション空間の構造を活用することが、アクションの優れた表現を学ぶための鍵となる要素であると推測する。 Atari 2600 ゲームや、離散化物理制御ベンチマークなど、無数の領域に対するアプローチの有効性を示す。
論文参考訳（メタデータ） (2020-10-28T00:19:13Z)
Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文参考訳（メタデータ） (2020-10-27T17:55:16Z)
Zeroth-Order Supervised Policy Improvement [94.0748002906652]
政策勾配(PG)アルゴリズムは強化学習(RL)に広く用いられている。ゼロ次監視政策改善(ZOSPI)を提案する。 ZOSPIは、PGメソッドの局所的な利用を保ちながら、推定値関数を全世界で$Q$で活用する。
論文参考訳（メタデータ） (2020-06-11T16:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。