論文の概要: Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2601.21572v1
• Date: Thu, 29 Jan 2026 11:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.772393
• Title: Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks
• Title（参考訳）: リカレントスパイキングニューラルネットワークの勾配自由最適化のための信号適応信頼領域
• Abstract要約: 推定信号エネルギーによって正規化されるKL分散を束縛することで相対的変化を制約する分布更新則を提案する。 本研究では,RSNN最適化に強い経験的性能を示したベルヌーイ接続分布に対するSATRのインスタンス化を行う。 SATRを大規模に実用化するために、二進スパイクと二進重みのビットセット実装を導入する。
• 参考スコア（独自算出の注目度）: 16.009596458274952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent spiking neural networks (RSNNs) are a promising substrate for energy-efficient control policies, but training them for high-dimensional, long-horizon reinforcement learning remains challenging. Population-based, gradient-free optimization circumvents backpropagation through non-differentiable spike dynamics by estimating gradients. However, with finite populations, high variance of these estimates can induce harmful and overly aggressive update steps. Inspired by trust-region methods in reinforcement learning that constrain policy updates in distribution space, we propose \textbf{Signal-Adaptive Trust Regions (SATR)}, a distributional update rule that constrains relative change by bounding KL divergence normalized by an estimated signal energy. SATR automatically expands the trust region under strong signals and contracts it when updates are noise-dominated. We instantiate SATR for Bernoulli connectivity distributions, which have shown strong empirical performance for RSNN optimization. Across a suite of high-dimensional continuous-control benchmarks, SATR improves stability under limited populations and reaches competitive returns against strong baselines including PPO-LSTM. In addition, to make SATR practical at scale, we introduce a bitset implementation for binary spiking and binary weights, substantially reducing wall-clock training time and enabling fast RSNN policy search.
• Abstract（参考訳）: リカレントスパイキングニューラルネットワーク(RSNN)は、エネルギー効率の高い制御ポリシーのための有望な基盤であるが、高次元の長距離強化学習のためのトレーニングは依然として難しい。 人口ベースで勾配のない最適化は、勾配を推定することによって、微分不可能なスパイクダイナミクスによるバックプロパゲーションを回避する。 しかし、人口が有限であれば、これらの推定値のばらつきは有害で過度に攻撃的な更新ステップを引き起こす可能性がある。 分布空間におけるポリシー更新を制約する強化学習における信頼領域法に着想を得て,推定信号エネルギーによって正規化されたKL分散を束縛することで相対変化を制限する分布更新規則である「SATR」を提案する。 SATRは、信頼領域を強い信号の下で自動的に拡張し、更新がノイズに支配されたときに契約する。 本研究では,RSNN最適化に強い経験的性能を示したベルヌーイ接続分布に対するSATRのインスタンス化を行う。 高次元連続制御ベンチマークのスイート全体で、SATRは限られた人口下での安定性を改善し、PPO-LSTMを含む強力なベースラインに対して競合するリターンに達する。 さらに,SATRを大規模に実用化するために,二分スパイクと二分重のビットセット実装を導入し,ウォールタイムのトレーニング時間を大幅に短縮し,高速なRSNNポリシー探索を実現する。

関連論文リスト

• Stable-MM-R1: Anchoring Multimodal Reasoning Dynamics via Entropy-Guided Stratification [19.490862077232205]
  強化学習訓練の安定化を目的としたデータ中心型フレームワークを提案する。 まず、動的にデータをフィルタリングして「蒸留ゾーン」にフォーカスする潜在的クエリマイニング(PAQM)を導入する。 本稿では,Hybrid Stratified Replay(HSR)を提案する。これは,Path Entropyに基づくロールアウトの階層化,ロールアウトレベルの信頼性プロキシ,結果報酬に基づいてバッチを再構成する機構である。
  論文  参考訳（メタデータ） (2026-09-07T07:47:00Z)
• Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。 ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。 既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
  論文  参考訳（メタデータ） (2026-08-14T04:46:03Z)
• FastDSAC: Enhancing Policy Plasticity via Constrained Exploration for Scalable Humanoid Locomotion [19.265864503552123]
  FastDSACは並列サンプリングシナリオのための分散アクター・クライブアルゴリズムの高速かつ高性能な変種である。 我々は、FastDSACがトレーニングプロセス全体を安定化し、最先端のベースラインに比べて優れた性能と高速な収束を実現することを示す。
  論文  参考訳（メタデータ） (2026-06-30T14:04:26Z)
• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Local Guidance, Global Impact: Gaussian-Reshaped Trust Region Unlocks Behavior Transitions [32.96009566123147]
  本稿では,PPO (Proximal Policy Optimization) が連続的・非定常的環境において苦戦していることを示す。 本稿では,ガウスカーネルを用いて信頼領域を再設定するガウス信頼地域政策最適化(GTR)を提案する。 GTRはアーキテクチャに依存しず、ゲーム全体、シミュレーションロボット制御、オープンワールド探索、言語モデルポストトレーニングなど、強力なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-06-02T09:26:26Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• In-Context Reinforcement Learning through Bayesian Fusion of Context and Value Prior [53.21550098214227]
  テキスト内強化学習は、パラメータを更新せずに、目に見えない環境への高速な適応を約束する。 本研究では,ベイズ ICRL 法である SPICE を導入し,その事前値を深層アンサンブルで学習し,テスト時に更新する。 本研究は,SPICEが準最適軌道のみに事前訓練した場合でも,帯域幅と有限水平MDPの両方において,後悔と最適動作を達成できることを証明した。
  論文  参考訳（メタデータ） (2026-01-06T13:41:31Z)
• Scaling up Stability: Reinforcement Learning for Distributed Control of Networked Systems in the Space of Stabilizing Policies [0.49109372384514843]
  本稿では,グラフニューラルネットワーク(GNN)をユーラ様の等級方向パラメータ化に組み込むポリシパラメータ化を提案する。 この大きさは、乱れフィードバックに作用するGNNと、局所的な観測に作用するGNNからなる安定作用素として実装される。 実験により、小さなネットワークで訓練されたポリシーは、より大きなネットワークと見えないネットワークトポロジに直接転送し、最先端のMARLベースラインよりも高いリターンと低い分散を達成することが示された。
  論文  参考訳（メタデータ） (2025-12-20T23:35:07Z)
• Plug-and-Play Homeostatic Spark: Zero-Cost Acceleration for SNN Training Across Paradigms [40.57310813106791]
  スパイキングニューラルネットワークは、イベント駆動計算、スパースアクティベーション、ハードウェア効率を提供するが、トレーニングはしばしばゆっくりと収束し、安定性に欠ける。 AHSAR(Adaptive Homeostatic Spiking Activity Regulation)は,超簡易なプラグインおよびトレーニングパラダイムである。 AHSARは最適化を安定化し、モデルアーキテクチャや損失、勾配を変更することなく収束を加速する。
  論文  参考訳（メタデータ） (2025-12-04T17:26:46Z)
• Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients [16.39606116102731]
  適応型ニューラルネットワークを提供するPolyakの消滅は、勾配降下(SGD)にとって有望な選択であることが証明された。 ディープネットワークに関する総合的な実験は、タイトな凸ネットワーク理論を腐食させる。 本研究では、強い仮定を必要とせず、非滑らかな最適化に対して厳密な収束保証を提供する。
  論文  参考訳（メタデータ） (2025-12-02T02:24:32Z)
• GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
  GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。 PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。 重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
  論文  参考訳（メタデータ） (2025-10-25T14:51:17Z)
• CaRe-BN: Precise Moving Statistics for Stabilizing Spiking Neural Networks in Reinforcement Learning [50.87795054453648]
  Spiking Neural Networks (SNN)は、ニューロモルフィックハードウェア上で低レイテンシでエネルギー効率の意思決定を提供する。 スパイクの離散的かつ微分不可能な性質のため、直接訓練されたSNNは勾配更新を安定させるためにバッチ正規化(BN)に大きく依存する。 オンライン強化学習(RL)では、BN統計は搾取を妨げ、収束と準最適政策を遅くする。
  論文  参考訳（メタデータ） (2025-09-28T10:21:17Z)
• Local Pairwise Distance Matching for Backpropagation-Free Reinforcement Learning [0.9065034043031668]
  強化学習(RL)を用いたニューラルネットワークのトレーニングは一般的にバックプロパゲーション(BP)に依存している BPは後続の更新のためにフォワードパスからのアクティベーションを格納する必要がある。 本稿では、RL設定において、前部パス中の局所信号を用いてニューラルネットワークの各層をトレーニングする新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-15T14:39:41Z)
• Conformal Symplectic Optimization for Stable Reinforcement Learning [21.491621524500736]
  相対論的運動エネルギーを利用することで、RADは特殊相対性理論と制限パラメータの更新を有限速以下に取り入れ、異常な影響を効果的に緩和する。 特にRADは155.1%のパフォーマンス向上を実現しており、アタリゲームのトレーニングにおける有効性を示している。
  論文  参考訳（メタデータ） (2024-12-03T09:07:31Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Deep Reinforcement Learning with Robust and Smooth Policy [90.78795857181727]
  我々は、国家に対して円滑に振る舞う円滑な政策を学ぶことを提案する。 textbfSmooth textbfRegularized textbfReinforcement textbfLearning(textbfSR2textbfL$)という新しいフレームワークを開発し、スムーズな正規化によってポリシーを訓練する。 このような正規化は、探索空間を効果的に制限し、学習ポリシーの滑らかさを強制する。
  論文  参考訳（メタデータ） (2020-03-21T00:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。