論文の概要: Self-Organizing Dual-Buffer Adaptive Clustering Experience Replay (SODASER) for Safe Reinforcement Learning in Optimal Control

• arxiv url: http://arxiv.org/abs/2601.06540v1
• Date: Sat, 10 Jan 2026 11:43:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 13:33:41.311497
• Title: Self-Organizing Dual-Buffer Adaptive Clustering Experience Replay (SODASER) for Safe Reinforcement Learning in Optimal Control
• Title（参考訳）: 最適制御における安全強化学習のための自己組織型デュアルバッファ適応クラスタリング体験再生(SODASER)
• Abstract要約: 本稿では,SODACER(Self-Organizing Dual-Replay Adaptive Clustering Experience)という新たな強化学習フレームワークを提案する。 SODACERは非線形システムの安全かつスケーラブルな最適制御を実現するように設計されている。 提案手法は、複数の制御入力と安全性制約を持つ非線形ヒトパピローマウイルス(HPV)トランスミッションモデルで検証される。
• 参考スコア（独自算出の注目度）: 2.8037951156321372
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper proposes a novel reinforcement learning framework, named Self-Organizing Dual-buffer Adaptive Clustering Experience Replay (SODACER), designed to achieve safe and scalable optimal control of nonlinear systems. The proposed SODACER mechanism consisting of a Fast-Buffer for rapid adaptation to recent experiences and a Slow-Buffer equipped with a self-organizing adaptive clustering mechanism to maintain diverse and non-redundant historical experiences. The adaptive clustering mechanism dynamically prunes redundant samples, optimizing memory efficiency while retaining critical environmental patterns. The approach integrates SODASER with Control Barrier Functions (CBFs) to guarantee safety by enforcing state and input constraints throughout the learning process. To enhance convergence and stability, the framework is combined with the Sophia optimizer, enabling adaptive second-order gradient updates. The proposed SODACER-Sophia's architecture ensures reliable, effective, and robust learning in dynamic, safety-critical environments, offering a generalizable solution for applications in robotics, healthcare, and large-scale system optimization. The proposed approach is validated on a nonlinear Human Papillomavirus (HPV) transmission model with multiple control inputs and safety constraints. Comparative evaluations against random and clustering-based experience replay methods demonstrate that SODACER achieves faster convergence, improved sample efficiency, and a superior bias-variance trade-off, while maintaining safe system trajectories, validated via the Friedman test.
• Abstract（参考訳）: 本稿では,非線形システムの安全かつスケーラブルな最適制御を実現するために,SODACER(Self-Organizing Dual-buffer Adaptive Clustering Experience Replay)という新たな強化学習フレームワークを提案する。 提案するSODACER機構は,最近の経験に迅速に適応するFast-Bufferと,多様かつ非冗長な歴史的経験を維持するための自己組織型適応クラスタリング機構を備えたSlow-Bufferで構成されている。 適応クラスタリング機構は冗長なサンプルを動的に生成し、重要な環境パターンを維持しながらメモリ効率を最適化する。 このアプローチは、制御バリア関数(CBF)とSODASERを統合して、学習プロセス全体を通して状態と入力の制約を強制することによって安全性を保証する。 収束と安定性を高めるため、フレームワークはソフィアオプティマイザと組み合わせられ、適応的な2階勾配更新が可能である。 提案されたSODACER-Sophiaのアーキテクチャは、動的で安全でクリティカルな環境での信頼性、有効、堅牢な学習を保証し、ロボット工学、医療、大規模システム最適化の応用のための一般化可能なソリューションを提供する。 提案手法は、複数の制御入力と安全性制約を持つ非線形ヒトパピローマウイルス(HPV)トランスミッションモデルで検証される。 ランダム・クラスタリング・エクスペリエンス・リプレイ法との比較評価により,SODACERはより高速な収束,サンプル効率の向上,バイアス分散トレードオフの改善を実現し,Friedmanテストによる安全なシステムトラジェクトリの維持を図っている。

関連論文リスト

• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• A Systematic Post-Train Framework for Video Generation [76.26555417456773]
  大規模ビデオ拡散モデルでは、高解像度でセマンティックにリッチなコンテンツを生成できることが顕著に示されている。 迅速な感度、時間的不整合、禁止的推論コストといった重要な問題のために、事前訓練されたパフォーマンスと実際のデプロイメント要件の間には、大きなギャップが残っている。 本研究では,事前学習されたモデルとユーザの意図を4つの相乗的段階を通して体系的に整合させる総合的なポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-28T09:34:51Z)
• Momentum-constrained Hybrid Heuristic Trajectory Optimization Framework with Residual-enhanced DRL for Visually Impaired Scenarios [20.048701695146963]
  本稿では,Momentum-Constrained Hybrid Heuristic Trajectory Optimization Framework (MHTOF)を提案する。 快適性と安全性の両立を図るため,Huristic Trajectory Smpling Cluster (HTSC) とMomentum-Constrained Trajectory Optimization (MTO) を設計した。 複雑な動的シナリオでは、MHHTOFはリスクを低減した安定した速度と加速度曲線を示す。
  論文  参考訳（メタデータ） (2026-04-16T13:16:00Z)
• Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
  We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。 FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。 我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-30T11:37:46Z)
• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Adaptive Reinforcement Learning for Dynamic Configuration Allocation in Pre-Production Testing [4.370892281528124]
  本稿では, コンフィグレーション割り当てを逐次決定問題として再放送する, 新たな強化学習フレームワークを提案する。 提案手法は,Q-ラーニングをシミュレーション結果とリアルタイムフィードバックを融合したハイブリッド報酬設計と統合する最初の方法である。
  論文  参考訳（メタデータ） (2025-10-02T05:12:28Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Optimal Parameter Adaptation for Safety-Critical Control via Safe Barrier Bayesian Optimization [27.36423499121502]
  制御バリア関数 (CBF) 法は, 制御性能向上に新たな課題を提起する。 安全制御性能を最適化するために,CBF法とベイズ最適化(BO)を組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-25T04:56:17Z)
• Learning-Enhanced Safeguard Control for High-Relative-Degree Systems: Robust Optimization under Disturbances and Faults [6.535600892275023]
  本稿では,強化学習に基づく最適制御問題における安全性保証によるシステム性能の向上を目的とする。 安全性の勾配と性能の勾配の関係を定量化するために,勾配類似性の概念を提案する。 安全性を保証するため、安全なRLフレームワークに勾配操作と適応機構を導入している。
  論文  参考訳（メタデータ） (2025-01-26T03:03:02Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• Enhancing Security in Federated Learning through Adaptive Consensus-Based Model Update Validation [2.28438857884398]
  本稿では,ラベルフリップ攻撃に対して,FL(Federated Learning)システムを構築するための高度なアプローチを提案する。 本稿では,適応的しきい値設定機構と統合されたコンセンサスに基づく検証プロセスを提案する。 以上の結果から,FLシステムのレジリエンスを高め,ラベルフリップ攻撃の顕著な緩和効果が示唆された。
  論文  参考訳（メタデータ） (2024-03-05T20:54:56Z)
• Real-Time Adaptive Safety-Critical Control with Gaussian Processes in High-Order Uncertain Models [14.790031018404942]
  本稿では,不確実なパラメータを持つシステムを対象とした適応型オンライン学習フレームワークを提案する。 まず,差分スパースGPアルゴリズムを改良するために,まず忘れ係数を積分する。 第2フェーズでは,高次制御バリア関数に基づく安全フィルタを提案する。
  論文  参考訳（メタデータ） (2024-02-29T08:25:32Z)
• A Policy Optimization Method Towards Optimal-time Stability [15.722871779526526]
  サンプリングに基づくリアプノフ安定性を取り入れた政策最適化手法を提案する。 我々のアプローチは、最適時間内にシステムの状態が平衡点に達することを可能にする。
  論文  参考訳（メタデータ） (2023-01-02T04:19:56Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Joint Differentiable Optimization and Verification for Certified Reinforcement Learning [91.93635157885055]
  安全クリティカル制御システムのためのモデルベース強化学習では,システム特性を正式に認定することが重要である。 本稿では,強化学習と形式検証を共同で行う枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-28T16:53:56Z)
• Closing the Closed-Loop Distribution Shift in Safe Imitation Learning [80.05727171757454]
  模倣学習問題において,安全な最適化に基づく制御戦略を専門家として扱う。 我々は、実行時に安価に評価でき、専門家と同じ安全保証を確実に満足する学習されたポリシーを訓練する。
  論文  参考訳（メタデータ） (2021-02-18T05:11:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。