論文の概要: On BatchNorm Forward Modes in Value-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.06421v1
• Date: Sun, 06 Sep 2026 06:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.24868
• Title: On BatchNorm Forward Modes in Value-Based Reinforcement Learning
• Title（参考訳）: 価値に基づく強化学習におけるBatchNormフォワードモードについて
• Abstract要約: バッチ正規化は、CrossQのような連続制御アクター批判手法におけるサンプル効率を改善する。 Atariにおける離散アクション値学習の性能劣化に関する最近の研究 特定の前方通過時の実行統計とバッチ統計の間の単純な選択は、この劣化を逆転させる可能性があることを示す。
• 参考スコア（独自算出の注目度）: 14.643065411606772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Batch normalization (BN) substantially improves sample efficiency in continuous-control actor-critic methods such as CrossQ, yet recent studies report performance degradation in discrete-action value learning on Atari. These failures are surprising because discrete Q-networks lack the action-input distribution mismatch identified by CrossQ. We show for target-based C51 and target-free PQN that the simple choice between running and batch statistics at specific forward passes can reverse this degradation. In C51, switching the BN bootstrap forward to batch-statistic mode significantly improves performance over unnormalized and LayerNorm baselines and scales stably with update-to-data ratios up to 12. In PQN, using batch-statistics for both action selection and bootstrapping recovers performance from the failing running-statistic configuration. Across 26 Atari games at 400M frames, this configuration achieves a higher final aggregate score than PQN with LayerNorm. Our results show that carefully configured BN can substantially improve discrete-action value learning, and that its forward protocols are an essential part of the algorithm specification.
• Abstract（参考訳）: バッチ正規化(BN)は、CrossQのような連続制御アクター批判手法におけるサンプル効率を大幅に向上させるが、最近の研究では、Atariにおける離散アクション値学習の性能劣化を報告している。 離散的なQ-networksでは、CrossQによって特定されたアクション・インプット分布のミスマッチが欠落しているため、これらの失敗は驚くべきものである。 ターゲットベースC51とターゲットフリーPQNについて、特定の前方通過時の実行統計とバッチ統計との単純な選択は、この劣化を逆転させる可能性があることを示す。 C51では、BNブートストラップをバッチ統計モードに切り替えることで、非正規化やLayerNormベースラインよりもパフォーマンスが大幅に向上し、更新とデータの比率が最大12まで安定してスケールする。 PQNでは、アクションの選択とブートストラップの両方にバッチ統計を使用すると、実行統計設定の失敗からパフォーマンスが回復する。 4Mフレームでの26のAtariゲームに対して、この構成はLayerNormのPQNよりも高い最終的なスコアを達成する。 提案手法により, BN を慎重に設定することで, 離散動作値学習を大幅に改善し, 前方プロトコルがアルゴリズム仕様の不可欠な部分であることが示唆された。

関連論文リスト

• SCQ: Stabilizing Conservative Q-Learning with Sigmoid-Bounded Entropy [2.299479454443024]
  SCQ(Sigmoid-Bounded conservative Q-Learning)を導入し、標準的な対数エントロピー項を厳密な正のシグモイド有界な定式化に置き換える。 SCQはベースラインのパフォーマンスと一致またはオーバーし、ステートベースおよびビジュアルベンチマーク間のより安定したトレーニングダイナミックスを示す。 直接クリッピング介入は、傾きにマッチした正スコア制御とともに、負の対数確率の寄与を除去し、特定のスコアの形状だけでなく、肯定性も改善の多くを駆動していることを示す。
  論文  参考訳（メタデータ） (2026-09-11T11:59:52Z)
• Aftab: A Comprehensive Benchmark of CNN Encoders and Advanced Value Functions in Parallelized Q-Networks [2.179313476241343]
  本稿では,並列化Q-Network (PQN) アルゴリズムにおけるコナールニューラルネットワークのアーキテクチャ設計空間について検討する。 本研究では,Hadamax符号化パラダイムをカテゴリ,アンサンブル,デュエルの値ヘッドと組み合わせることで,乗法的表現学習と高度な値推定の効果について検討する。 その結果, 並列化・再生不要なQ-ラーニングフレームワークにおいて, エンコーダトポロジ, 乗法的特徴相互作用, 高度な値推定ヘッドは, 性能を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2026-08-07T15:29:15Z)
• Revisiting TD Target Aggregation under Uncertainty in Q-Learning [2.4908682918195804]
  Deep Q-Networks(DQN)は、ブートストラップされた時間差分更新を通じて値関数を学習する。 我々は、TDターゲットの生成方法を規則化するQラーニングへの簡単なロールアウトである、textbfSuccessor Rollout textbfAggregation textbfDeep textbfQ-Network (SADQ)を提案する。
  論文  参考訳（メタデータ） (2026-08-04T03:31:24Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Revisiting Adam for Streaming Reinforcement Learning [18.823262199838226]
  このオンライン環境でDQNやC51が実施したような,確立された更新の有効性について検討する。 我々は、アダプティブQ$()$ (Adaptive Q$()$) と呼ばれる、アダプティブトレースに基づく分散調整アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2026-05-07T17:54:31Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• Enhancing Q-Value Updates in Deep Q-Learning via Successor-State Prediction [3.2883573376133555]
  ディープQ-Networks(DQN)は、リプレイバッファからサンプリングされた遷移から学習することで、将来のリターンを推定する。 SADQは後続状態分布をQ値推定プロセスに統合する。 我々は、SADQがトレーニングのばらつきを低減しつつ、不偏値の推定を維持できることを理論的に保証する。
  論文  参考訳（メタデータ） (2025-11-05T20:04:53Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• Coarse-to-fine Q-Network with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
  本稿では,行動列上のQ値を出力する批判ネットワークを学習する,新しい値に基づく強化学習アルゴリズムを提案する。 実験により、CQN-ASは、様々なスパース逆ヒューマノイド制御およびテーブルトップ操作タスクにおいて、いくつかのベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-19T01:23:52Z)
• Smart Sampling: Self-Attention and Bootstrapping for Improved Ensembled Q-Learning [0.6963971634605796]
  アンサンブルQ学習のサンプル効率向上を目的とした新しい手法を提案する。 提案手法は,組立Qネットワークにマルチヘッド自己アテンションを組み込むとともに,組立Qネットワークが取り入れた状態-動作ペアをブートストラップする。
  論文  参考訳（メタデータ） (2024-05-14T00:57:02Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。