Fugu-MT 論文翻訳(概要): Target-Aligned Reinforcement Learning

論文の概要: Target-Aligned Reinforcement Learning

arxiv url: http://arxiv.org/abs/2603.29501v1
Date: Tue, 31 Mar 2026 09:42:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-01 15:25:03.468433
Title: Target-Aligned Reinforcement Learning
Title（参考訳）: 目標適応型強化学習
Abstract要約: 多くの強化学習アルゴリズムは、トレーニングを安定させるためにターゲットネットワーク(オンラインネットワークのコピーをラベル付けした)に依存している。本稿では,ターゲット・アラインメント型強化学習(TARL)を提案する。
参考スコア（独自算出の注目度）: 12.477207334328156
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Many reinforcement learning algorithms rely on target networks - lagged copies of the online network - to stabilize training. While effective, this mechanism introduces a fundamental stability-recency tradeoff: slower target updates improve stability but reduce the recency of learning signals, hindering convergence speed. We propose Target-Aligned Reinforcement Learning (TARL), a framework that emphasizes transitions for which the target and online network estimates are highly aligned. By focusing updates on well-aligned targets, TARL mitigates the adverse effects of stale target estimates while retaining the stabilizing benefits of target networks. We provide a theoretical analysis demonstrating that target alignment correction accelerates convergence, and empirically demonstrate consistent improvements over standard reinforcement learning algorithms across various benchmark environments.
Abstract（参考訳）: 多くの強化学習アルゴリズムは、トレーニングを安定させるためにターゲットネットワーク(オンラインネットワークのコピーをラベル付けした)に依存している。目標更新の遅さにより安定性は向上するが、学習信号の相対性は低下し、収束速度の妨げとなる。本稿では,ターゲット・アラインメント型強化学習(TARL)を提案する。適切に整合したターゲットにアップデートを集中することにより、TARLはターゲットネットワークの安定化メリットを維持しながら、安定化されたターゲット推定の悪影響を軽減する。本稿では、目標アライメント補正が収束を加速することを示す理論解析を行い、様々なベンチマーク環境における標準強化学習アルゴリズムに対する一貫した改善を実証的に示す。

関連論文リスト

Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [86.99017195607077]
無線ネットワークにおける自己回帰的マルコフ音源のリアルタイムサンプリングと推定について検討する。政策最適化のためのグラフィカル強化学習フレームワークを提案する。理論的には、提案したポリシーは転送可能であり、あるグラフ上で訓練されたポリシーを構造的に類似したグラフに効果的に適用することができる。
論文参考訳（メタデータ） (2026-01-19T02:18:45Z)
Resolving Conflicts in Lifelong Learning via Aligning Updates in Subspaces [12.630494786258842]
Low-Rank Adaptation (LoRA)は効果的な継続的学習を可能にするが、しばしば破滅的な忘れ込みに悩まされる。そこで我々は,PS-LoRAを提案する。PS-LoRAは最適化サブ空間内で更新を調整することで競合を解決するためのフレームワークである。提案手法では,先行知識との整合性を確保するために,矛盾する方向と大小偏差をペナルティ化する二重正則化手法を用いている。
論文参考訳（メタデータ） (2025-11-28T15:34:36Z)
Use the Online Network If You Can: Towards Fast and Stable Reinforcement Learning [22.6796319984868]
本稿では,ターゲットネットワークとオンラインネットワーク間の最小推定値を用いてターゲットを演算する新しい更新ルールを提案する。 MINTOは、ブートストラップにオンラインネットワークを使用する際の潜在的な過大評価バイアスを軽減し、より高速で安定した値関数学習を可能にする。我々はMINTOを様々なベンチマークで広く評価し、オンラインとオフラインのRL、そして離散かつ連続的なアクション空間にまたがる。
論文参考訳（メタデータ） (2025-10-02T21:48:01Z)
Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
論文参考訳（メタデータ） (2025-06-20T17:54:24Z)
Bridging the Performance Gap Between Target-Free and Target-Based Reinforcement Learning [21.38951369323128]
本稿では,オンラインネットワークの最後の線形層のコピーをターゲットネットワークとして利用する新しい手法を提案する。連続的なベルマン更新を並列に学習する反復型Q-ラーニングの概念と組み合わせることで、ターゲットレスアプローチのサンプル効率を向上させることができる。
論文参考訳（メタデータ） (2025-06-04T19:27:29Z)
Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文参考訳（メタデータ） (2023-10-19T13:13:41Z)
Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-08-01T06:16:18Z)
Why Target Networks Stabilise Temporal Difference Methods [38.35578010611503]
そこで本研究では, 厳密な規則性条件と目標ネットワーク更新頻度の調整により, 収束が保証されることを示す。我々は,TD更新のヤコビアンにおいて,ターゲットネットワークの利用が条件の悪さの影響を軽減することができると結論付けた。
論文参考訳（メタデータ） (2023-02-24T09:46:00Z)
Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
関数空間における凸正規化器であり、容易に調整できる明示的な関数正規化を提案する。提案手法の収束を理論的・実験的に解析し,より理論的に根ざした機能正規化アプローチでターゲットネットワークを置き換えることにより,サンプリング効率と性能が向上することが実証された。
論文参考訳（メタデータ） (2022-10-21T22:27:07Z)
Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
ターゲットネットワークは暗黙の正則化器として機能し、いくつかのケースでは有益であるが、欠点もある。本稿では,フレキシブルな関数正規化法と関数空間における凸正規化法を提案する。この結果から,機能正規化はTarget Networksのドロップイン代替として利用でき,結果として性能が向上することが示唆された。
論文参考訳（メタデータ） (2021-06-04T17:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。