論文の概要: Representation over Routing: Overcoming Surrogate Hacking in Multi-Timescale PPO
- arxiv url: http://arxiv.org/abs/2604.13517v1
- Date: Wed, 15 Apr 2026 06:03:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.404891
- Title: Representation over Routing: Overcoming Surrogate Hacking in Multi-Timescale PPO
- Title（参考訳）: ルーティングに関する表現:マルチタイムPPOにおけるサロゲートハッキングの克服
- Authors: Jing Sun,
- Abstract要約: 複雑な遅延リワードタスクにおいて,マルチタイムスケールの信号が盲目的に融合し,重度のアルゴリズム的病理に繋がることが示唆された。
批判側では、補助的な表現学習を強制するためにマルチタイムスケールの予測を継続する一方、アクター側では、短期的な信号を厳格に分離し、長期的優位性のみに基づいてポリシーを更新する。
- 参考スコア（独自算出の注目度）: 2.490624512942981
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal credit assignment in reinforcement learning has long been a central challenge. Inspired by the multi-timescale encoding of the dopamine system in neurobiology, recent research has sought to introduce multiple discount factors into Actor-Critic architectures, such as Proximal Policy Optimization (PPO), to balance short-term responses with long-term planning. However, this paper reveals that blindly fusing multi-timescale signals in complex delayed-reward tasks can lead to severe algorithmic pathologies. We systematically demonstrate that exposing a temporal attention routing mechanism to policy gradients results in surrogate objective hacking, while adopting gradient-free uncertainty weighting triggers irreversible myopic degeneration, a phenomenon we term the Paradox of Temporal Uncertainty. To address these issues, we propose a Target Decoupling architecture: on the Critic side, we retain multi-timescale predictions to enforce auxiliary representation learning, while on the Actor side, we strictly isolate short-term signals and update the policy based solely on long-term advantages. Rigorous empirical evaluations across multiple independent random seeds in the LunarLander-v2 environment demonstrate that our proposed architecture achieves statistically significant performance improvements. Without relying on hyperparameter hacking, it consistently surpasses the ''Environment Solved'' threshold with minimal variance, completely eliminates policy collapse, and escapes the hovering local optima that trap single-timescale baselines.
- Abstract（参考訳）: 強化学習における一時的クレジット割り当ては、長い間、中心的な課題であった。
神経生物学におけるドパミンシステムのマルチタイムエンコーディングにインスパイアされた最近の研究は、短期的応答と長期計画のバランスをとるために、PPO(Pximal Policy Optimization)のようなアクター・クリティカル・アーキテクチャーに複数の割引因子を導入しようと試みている。
しかし,本論文では,複雑な遅延逆タスクにおいて,多段階の信号が盲目的に融合することで,重度のアルゴリズム的病理に繋がることを示した。
我々は,時間的注意ルーティング機構をポリシー勾配に公開することで,客観的ハッキングが促進される一方で,勾配のない不確実性重み付けが筋力低下を不可逆的に引き起こす現象である時間的不確実性のパラドックス(Paradox of Temporal Uncertainty)が生じることを体系的に実証した。
これらの課題に対処するため、我々は、ターゲットデカップリングアーキテクチャを提案する:批判側では、補助的な表現学習を実施するために、マルチタイムスケールの予測を継続するが、アクター側では、短期的な信号を厳格に分離し、長期的優位性のみに基づいてポリシーを更新する。
LunarLander-v2環境における複数の独立ランダムシードに対する厳密な経験的評価は,提案アーキテクチャが統計的に有意な性能向上を実現していることを示す。
ハイパーパラメータハッキングを頼りにすることなく、最小分散で‘環境解決’のしきい値を超え、ポリシーの崩壊を完全に排除し、シングルタイムのベースラインをトラップするホバリングローカルオプティマから逃れる。
関連論文リスト
- Delayed Homomorphic Reinforcement Learning for Environments with Delayed Feedback [11.866061471514582]
遅延したフィードバックはマルコフの仮定を破り、学習と制御を妨げる。
本稿では,MDP準同型に基づく枠組みを提案する。
MuJoCoベンチマークにおける連続制御タスクの実験は、我々のアルゴリズムが強化ベースのベースラインよりも優れていることを確認した。
論文 参考訳（メタデータ） (2026-04-04T08:38:52Z) - Dual-Gated Epistemic Time-Dilation: Autonomous Compute Modulation in Asynchronous MARL [0.0]
MARL(Multi-Agent Reinforcement Learning)アルゴリズムは、複雑な連続したドメインをまたいだ前例のない成功を達成する。
標準のデプロイメントは、同期運用パラダイムに厳密に準拠する。
この高密度スループットは、熱的および代謝的予算が極めて制約されたエッジデバイス上での物理的展開の基本的な障壁として機能する。
本稿では, 心電図を用いた心電図を用いた心電図(ETD-MAPPO)を提案する。
論文 参考訳（メタデータ） (2026-03-24T21:19:06Z) - When Sensors Fail: Temporal Sequence Models for Robust PPO under Sensor Drift [64.37959940809633]
時間的持続的なセンサ故障下でのPPOのロバスト性について検討する。
トランスフォーマーを用いたシーケンスポリシーは, センサ数が少ない場合でも高いリターンを保ちながら, 堅牢性, RNN, SSMよりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-03-04T22:21:54Z) - Compositional Planning with Jumpy World Models [70.74595987225908]
我々は、事前訓練されたポリシーを構成するエージェントを時間的に拡張したアクションとして研究し、構成員だけでは解決できない複雑なタスクに対する解決を可能にする。
arXiv:2206.08736で導入された幾何学的ポリシー構成フレームワークをモチベーションとして,多段階力学の予測モデルを学習することにより,これらの課題に対処する。
論文 参考訳（メタデータ） (2026-02-23T09:22:21Z) - Seeing Farther and Smarter: Value-Guided Multi-Path Reflection for VLM Policy Optimization [41.15414881730464]
VLM(Vision-Language Models)は、この目標に対して、一般的なパーセプティブ・レアソン・アクティベート・フレームワークを提供する。
従来のアプローチは、ノイズの多い予見予測から状態値の非効率で、しばしば不正確な暗黙の学習に依存していた。
動作生成から状態評価を分離する新しいテスト時間計算フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-22T22:53:16Z) - MTS-JEPA: Multi-Resolution Joint-Embedding Predictive Architecture for Time-Series Anomaly Prediction [9.41179596958512]
MTS-JEPAは,ソフトコードブックのボトルネックと多解像度の予測対象を統合した特殊なアーキテクチャである。
この設計は、経時的ショックと長期的トレンドを明確に分離し、コードブックを使用して離散的な状態遷移をキャプチャする。
論文 参考訳（メタデータ） (2026-02-04T15:11:29Z) - RainDiff: End-to-end Precipitation Nowcasting Via Token-wise Attention Diffusion [64.49056527678606]
本稿では,U-Net拡散モデルだけでなく,レーダ時間エンコーダにも統合されたトークンワイドアテンションを提案する。
従来の手法とは異なり,本手法は,画素空間拡散の典型的な高資源コストを発生させることなく,アーキテクチャに注意を集中させる。
実験と評価により,提案手法は複雑な降水予測シナリオにおいて,最先端の手法,ロバストネスの局所的忠実度,一般化,優位性を著しく上回ることを示した。
論文 参考訳（メタデータ） (2025-10-16T17:59:13Z) - TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting [49.6208017412376]
TimeBridgeは、非定常性と依存性モデリングの間のギャップを埋めるために設計された新しいフレームワークである。
TimeBridgeは、短期予測と長期予測の両方において、最先端のパフォーマンスを一貫して達成する。
論文 参考訳（メタデータ） (2024-10-06T10:41:03Z) - USTEP: Spatio-Temporal Predictive Learning under A Unified View [62.58464029270846]
UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2023-10-09T16:17:42Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:54:41Z) - Non-Stationary Bandits with Auto-Regressive Temporal Dependency [14.093856726745662]
本稿では,自己回帰(AR)報酬構造を通じて実世界の力学の時間構造をキャプチャする,新しい非定常MABフレームワークを提案する。
i) 時間的依存を利用して探索と利用を動的にバランスさせるのに適した変更機構と, (ii) 時代遅れの情報を捨てるように設計された再起動機構の2つの主要なメカニズムを統合するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-28T20:02:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。