論文の概要: Rank Collapse Is Recoverable, Growing $|Q|$ Is Not: Out-of-Sample Early Warning for Value Divergence in High-UTD Soft Actor-Critic

• arxiv url: http://arxiv.org/abs/2609.32819v1
• Date: Sat, 26 Sep 2026 17:46:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 19:58:52.148301
• Title: Rank Collapse Is Recoverable, Growing $|Q|$ Is Not: Out-of-Sample Early Warning for Value Divergence in High-UTD Soft Actor-Critic
• Title（参考訳）: ランク崩壊は回復可能。高額なアクター・クオリティの早期警戒で$|Q|$は値上がりしない
• Abstract要約: データ更新率の上昇は、政治的批判を「塑性損失」と分類する2つの方法で破ることを示す。 我々は、スケールされた批評家(2048年、正規化なし)でそれらをSoft Actor-Criticに分離する。 1つの高UTD SAC構成内では、実行が近く始まり、批評家の$log_10|Q|$が、その初期の成長であるステップ15kでどれだけ上昇したかは、ガードがすぐにフラグを付けるかによってランク付けされる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Raising the update-to-data (UTD) ratio breaks off-policy critics in two ways grouped as "plasticity loss": collapsing representations and growing value magnitude $|Q|$. We separate them in Soft Actor-Critic (SAC) with scaled critics (width 2048, no normalization). Collapse is survivable: at UTD ratio 16, HalfCheetah critics with most units dormant keep learning, and the training guard, which stops runs whose loss or $|Q|$ explodes, never flags them. Within one high-UTD SAC configuration, runs start close together, and how far a critic's $\log_{10}|Q|$ has climbed by step 15k, its early growth, ranks the runs by how soon the guard flags them. At 15k, a flagged run's $|Q|$ sits a median of over a hundredfold below its flag level, yet the climb's rate already orders the flags (Harrell's C and out-of-sample AUC 0.78 on Walker2d, 0.98 on Ant, at UTD ratio 4). Dormancy does not. Aborting on this rate saves about a tenth of held-out Walker2d compute and stays net-positive live. A LayerNorm critic lowers the rate, removes the flag on Walker2d at UTD ratio 4 and lowers the return.
• Abstract（参考訳）: アップデート・トゥ・データ(UTD)比の上昇は、政治的批判を「塑性損失」と分類する2つの方法で破る。 SAC(Soft Actor-Critic)には、スケールされた批評家(2048年当時、正規化なし)が参加しています。 UTD比16で、HalfCheetahは、ほとんどのユニットが休眠状態にあることを批判し、損失または|Q|$が爆発するランニングを停止する訓練ガードはそれらを警告しない。 1つの高UTD SAC構成内では、実行が近く始まり、批評家の$\log_{10}|Q|$が、その初期の成長であるステップ15kまで上昇したかは、ガードがすぐにフラグを付けるかによってランク付けされる。 15kでは、フラグ付きランの|Q|$は旗の高さより100倍以上低い中央値にあるが、クライミングレートは既に旗を注文している(Harrell's C とout-of-sample AUC 0.78、Ant は 0.98、UTD 比 4)。 休眠はしない。 このレートを中止すると、Walker2d計算の約10分の1が節約され、ネット陽性のままに保たれる。 LayerNormはレートを下げ、UTD比4でWalker2dのフラグを取り除き、リターンを下げる。

関連論文リスト

• PolicyAttention: Softmax Attention Implements Policy Mirror Descent for Closed-Loop Control [1.491109220586182]
  負のエントロピーポリシーミラー降下(PMD)は、ステートワイズで$operatornamePMD_(,Q)=operatornamesoftmax(log+Q)$を持つ。 我々は,アクター,ルーティング,サンプリング,正規化を明示した1ステップクリティカルプロトコルを1つの固定因果-ソフトマックスアクター-環境-構築し,それらを実際に返却された残留ポリシーに伝達する。
  論文  参考訳（メタデータ） (2026-09-24T19:37:25Z)
• Unthrottling the Tanh Jacobian in SAC: A Negative Result on Bang-Bang Control and MetaDrive [0.0]
  ソフト・アクター・クリティカル (Soft Actor-Critic, SAC) は、連続的な政策を、タンによってしゃがみ込まれる非有界ガウス主義(unbounded Gaussian)として表す。 欠落した信号を復元する最小限の介入をテストする。 取り除くためのバグとして扱うことは無料ではなく、ここで調べるタスクは役に立たない。
  論文  参考訳（メタデータ） (2026-09-08T21:53:08Z)
• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• Directional Curvature from Armijo Backtracking: A Low-Cost Sharpness Probe and a Calibration-Free Learning-Rate Safeguard for Adam [0.16283634001181238]
  単一のArmijoバックトラックラインサーチが、この情報を数回のフォワードパスのコストですでに持っているのを観察する。 初期化時に一度使うと、この測定値が学習率の上限となり、Adamはあまりに大きな初期学習率に頑健になる。
  論文  参考訳（メタデータ） (2026-07-04T19:49:01Z)
• Continuous First, Discrete Later: VQ-VAEs Without Dimensional Collapse [63.31488859236551]
  我々は、次元の崩壊が様々なコードブック改善技術が上回らないようなハードロスの低い境界を生じることを理論的かつ実証的に示す。 本稿では,VQを導入する前に,不適切な自動エンコーダとしてモデルを訓練する「ウォームアップフェーズ」を提案する。 合成実験と大規模画像 (VQGAN) とオーディオ (WavTokenizer) VQ-VAEs の両方において, AE Warm-Up が表現次元の復元に成功したことを示す。
  論文  参考訳（メタデータ） (2026-05-07T19:13:20Z)
• Chunking the Critic: A Transformer-based Soft Actor-Critic with N-Step Returns [26.44033413426475]
  ソフトアクターのためのシーケンス条件付き批評家を紹介する--Critic (SAC) 我々の手法は,重要サンプリング(IS)を伴わずに,短い軌道セグメントを条件付け,複数ステップの戻り値を統合することによって,批判そのものを強化する。 その単純さにもかかわらず、私たちのアプローチは標準のSACと強力な非政治ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-03-05T16:47:36Z)
• Reinforcement Learning with Segment Feedback [56.54271464134885]
  状態ごとの反応フィードバックと軌道フィードバックのギャップを埋める一般的なパラダイムを提供するRLというモデルを考える。 バイナリフィードバックの下では、$m$のセグメント数の増加は指数率で後悔を減少させるが、驚くべきことに、和フィードバックの下では、$m$の増加は後悔を著しく減少させるものではない。
  論文  参考訳（メタデータ） (2025-02-03T23:08:42Z)
• Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
  無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。 最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-01-31T16:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。