論文の概要: Spectral Prioritized Sweeping in Nonstationary Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.06186v1
• Date: Sat, 05 Sep 2026 17:06:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.214741
• Title: Spectral Prioritized Sweeping in Nonstationary Reinforcement Learning
• Title（参考訳）: 非定常強化学習におけるスペクトル優先探索
• Abstract要約: プライオリティライズ・スウィーピング(PS)は、ベルマン残差等級に応じてバックアップを選択することにより、モデルに基づく強化学習を加速する。 本稿では,グラフのリゾルペントと拡散セマンティクスを用いたグラフトポロジ拡張フレームワークについて述べる。 本稿では,GTA-PS(Graph Topology Augmentation for Prioritized Sweeping),あるいはSPS(Spectral Prioritized Sweeping)がより普遍的なアプリケーションとして,固定力学の設定と状態報酬の変化に対するドロップイン順序付けスコアを提供する。
• 参考スコア（独自算出の注目度）: 1.1000499414131324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prioritized Sweeping (PS) accelerates model-based reinforcement learning by selecting backups according to Bellman residual magnitude. In nonstationary reward settings, however, the canonical priority score is shortsighted: after a localized reward shift, residuals propagate only through realized backups, so bottlenecked or topologically distant state estimates may remain static under a limited replanning budget. We introduce the Graph Topology Augmentation framework, which employ the graph's resolvent and its diffusion semantic, to augment the inquired signal. Our application, Graph Topology Augmentation for Prioritized Sweeping (GTA-PS), or which the alias Spectral Prioritized Sweeping (SPS) might be more universal, provides a drop-in ordering score for the setting of fixed dynamics and changing state rewards. GTA-PS uses a smootherized policy, inducing a transition chain, with its in- and out-Laplacian. The standard priority key is augmented with a mixing of regularized Laplacian inverses diffusing the residual magnitude. Furthermore, the topology contribution is annealed by a scheduler based on the Second Largest Eigenvalue Modulus (SLEM), allowing its scale to adapt to the chain's mixing regime. We prove that the forward potential coincides with geometric discounted residual propagation and show that GTA-PS gives active priority instantly to all states. Tabular experiments on FourRooms and GARNET domains demonstrate improved replanning efficiency over standard PS under both exact DP and Dyna-style host planners.
• Abstract（参考訳）: プライオリティライズ・スウィーピング(PS)は、ベルマン残差等級に応じてバックアップを選択することにより、モデルに基づく強化学習を加速する。 局所的な報酬シフトの後、残差は実現されたバックアップを通してのみ伝播するので、ボトルネックあるいは位相的に離れた状態の見積もりは、限られた計画予算の下で静的のままである。 本稿では,グラフのリゾルペントと拡散セマンティクスを用いたグラフトポロジ拡張フレームワークについて述べる。 本稿では,GTA-PS(Graph Topology Augmentation for Prioritized Sweeping),あるいはSPS(Spectral Prioritized Sweeping)がより普遍的なアプリケーションとして,固定力学の設定と状態報酬の変化に対するドロップイン順序付けスコアを提供する。 GTA-PSは、その内および外ラプラシアンの遷移鎖を誘導するスムーズなポリシーを用いる。 標準優先鍵は、残留等級を拡散する正規化ラプラシアン逆数の混合で強化される。 さらに、トポロジーの寄与は、第2大固有値法(SLEM)に基づくスケジューラによって加熱され、そのスケールがチェーンの混合状態に適応する。 前方電位は幾何的割引残差伝播と一致し, GTA-PSが全状態に対して即時に能動的優先度を与えることを示す。 FourRooms と GARNET ドメインのタブラル実験は、DP と Dyna スタイルのホストプランナの両方で、標準PS よりも改善された計画効率を示す。

関連論文リスト

• FCUS-rPPG: A Fast-Converging Unsupervised Framework for Remote Photoplethysmography via Gradient Oscillation Suppression [19.91628990903841]
  Photoplethysmography (rmography) は、一般向けカメラを用いた非接触血液量パルス(BVP)信号の抽出を可能にする。 FCUS-r は強力な一般化能力を持つ高速収束型教師なし r フレームワークである。 FCUS-rは、クロスデータセット性能の最先端評価を一貫して達成する。
  論文  参考訳（メタデータ） (2026-06-02T02:33:27Z)
• When Do Graph Foundation Models Transfer? A Data-Centric Theory [68.54337055801571]
  グラフ基盤モデル(GFMs)は、様々なグラフドメインにまたがる単一のバックボーンの再利用を目的としているが、それらの転送は不均一であり、負の転送を示すことがある。 我々は、セットベースおよびメッセージパストークン化の両方に対して、任意のリプシッツバックボーンは、クロスドメイン出力シフトの明示的な分解を認めていることを示す。 我々はスペクトルPEの安定性を保証するとともに、固有ベクトルと部分空間に基づくPEの対比挙動を強調する。
  論文  参考訳（メタデータ） (2026-05-28T12:07:27Z)
• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
  GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。 PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。 重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
  論文  参考訳（メタデータ） (2025-10-25T14:51:17Z)
• Towards Pre-trained Graph Condensation via Optimal Transport [52.6504753271008]
  グラフ凝縮は、元のグラフを小さなグラフに蒸留し、冗長性を緩和し、GNNトレーニングを加速することを目的としている。 従来のGCアプローチは、厳格なGNNとタスク固有の監督に大きく依存している。 タスク依存GC法とアーキテクチャ依存GC法の限界を超越するために, 最適輸送による事前学習グラフ凝縮(PreGC)を提案する。
  論文  参考訳（メタデータ） (2025-09-18T08:13:24Z)
• RGE-GS: Reward-Guided Expansive Driving Scene Reconstruction via Diffusion Priors [54.81109375939306]
  RGE-GSは、拡散に基づく生成と報酬誘導ガウス積分を相乗化する新しい拡張的再構築フレームワークである。 本稿では,復元フェーズに先立って一貫したパターンを識別・優先順位付けする報奨ネットワークを提案する。 復元過程において,シーン収束度に応じてガウス最適化の進捗を自動的に調整する学習戦略を考案した。
  論文  参考訳（メタデータ） (2025-06-28T08:02:54Z)
• Graph-Structured Driven Dual Adaptation for Mitigating Popularity Bias [29.518103753073145]
  人気バイアスは、不均一なレコメンデーションパフォーマンスを引き起こし、マシュー効果を増幅することによってレコメンデーションシステムに挑戦する。 既存の教師付きアライメントと再重み付け手法は、このバイアスを軽減するが、重要な制限がある。 これらの問題に対処するためのグラフ構造化デュアル適応フレームワーク(GSDA)を提案する。
  論文  参考訳（メタデータ） (2025-03-30T08:26:29Z)
• Implicit Bias and Fast Convergence Rates for Self-attention [26.766649949420746]
  本稿では,変圧器の定義機構である自己注意の基本的な最適化原理について考察する。 線形分類におけるデコーダを用いた自己アテンション層における勾配ベースの暗黙バイアスを解析する。
  論文  参考訳（メタデータ） (2024-02-08T15:15:09Z)
• DM-VIO: Delayed Marginalization Visual-Inertial Odometry [62.746533939737446]
  本稿では,遅延残差化とポーズグラフバンドル調整に基づく視覚慣性システムDM-VIOを提案する。 我々は,EuRoC,TUM-VI,および4Seasonsデータセットを用いて,空飛ぶドローン,大規模ハンドヘルド,自動車シナリオからなるシステムの評価を行った。
  論文  参考訳（メタデータ） (2022-01-11T18:30:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。