論文の概要: Homomorphic Advantage Operator: Stabilizing Reinforcement Learning Under Fully Homomorphic Encryption Constraints

• arxiv url: http://arxiv.org/abs/2610.02074v1
• Date: Thu, 01 Oct 2026 17:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.323374
• Title: Homomorphic Advantage Operator: Stabilizing Reinforcement Learning Under Fully Homomorphic Encryption Constraints
• Title（参考訳）: 正則アドバンテージ演算子:完全同型暗号化制約下での強化学習の安定化
• Abstract要約: 本稿では,FHEに基づく深部RLにおける近似偏差を防止するための安定化フレームワークを提案する。 提案したHAOフレームワークを3層実験手法を用いて評価した。 その結果,提案したHAOは,安全な近似領域内でのネットワークプレアクティベーションを厳密に制限していることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Privacy-preserving machine learning presents significant deployment challenges on the cloud for intelligent systems with confidential data. Fully Homomorphic Encryption (FHE) offers a compelling solution for secure computation, preserving data confidentiality of cloud computations. However, applying FHE to reinforcement learning (RL) requires replacing non-linear operations with polynomial approximations, which diverge catastrophically due to a unique recursive error phenomenon known as the Bellman drift. This article introduces the Homomorphic Advantage Operator (HAO), a stabilization framework designed to prevent polynomial approximation divergence in FHE-based deep RL. HAO adapts the zero-mean centering projection from advantage-based value estimation directly to temporal-difference (TD) targets. This linear projection annihilates the uniform state-value baseline that drives the Bellman drift, maintaining per-state action rankings while requiring zero additional non-linear multiplicative depth and avoiding expensive ciphertext bootstrapping. The proposed HAO framework was evaluated using a three-tier experimental methodology, including a tabular Markov Decision Process (MDP), an encrypted CartPole environment using real CKKS cryptographic operations, and a 20-node logistics routing benchmark with dense continuous features. The results demonstrate that the proposed HAO strictly bounds network pre-activations within the safe polynomial approximation domain. The proposed HAO RL agents achieved 0% boundary breaches across all random seeds used, whereas regularization alone (L2 weight decay and gradient clipping) breached the bound on 3 of 5 seeds and the unstabilized baseline did so in 83.8% of episodes. Finally, HAO agents improve optimal policy accuracy by 18.0 percentage points in tabular domains and remain stable when DP-SGD-style Gaussian noise is added to the clipped gradients.
• Abstract（参考訳）: プライバシ保護機械学習は、機密データを持つインテリジェントシステムにおいて、クラウド上での重大なデプロイメント上の課題を示す。 FHE(Fully Homomorphic Encryption)は、クラウド計算のデータ機密性を保護し、セキュアな計算を行うための魅力的なソリューションを提供する。 しかし、強化学習(RL)にFHEを適用するには、非線形演算を多項式近似に置き換える必要がある。 本稿では,FHEに基づく深部RLにおける多項式近似のばらつきを防止するための安定化フレームワークである準同型アドバンテージ演算子(HAO)を紹介する。 HAOはゼロ平均中心射影を利得に基づく値推定から時間差(TD)ターゲットに直接適用する。 この線形射影はベルマンドリフトを駆動する均一な状態値ベースラインを消滅させ、州ごとのアクションランキングを維持しながら、追加の非線形乗算深度をゼロとし、高価な暗号文のブートストラップを避ける。 提案したHAOフレームワークは,表層マルコフ決定プロセス(MDP),実際のCKKS暗号操作を用いた暗号化CartPole環境,高密度連続特性を持つ20ノードロジスティクスルーティングベンチマークなどの3層実験手法を用いて評価した。 その結果、提案したHAOは、安全な多項式近似領域内でのネットワークプレアクティベーションを厳密に拘束することを示した。 提案したHAO RL剤は無作為種子すべてに対して0%境界破砕を達成し, 正規化単独(L2重崩壊と勾配切断)は5種中3種に拘束し, 不安定化基線は83.8%のエピソードで破砕した。 最終的に、HAOエージェントは、カットされた勾配にDP-SGDスタイルのガウスノイズを加えると、表領域の18.0ポイントの最適ポリシー精度を向上し、安定した状態を保つ。

関連論文リスト

• EPIG-Tree: Compute-Optimal Branching for Gradient-Efficient Reinforcement Learning [2.173851537704397]
  ツリーベースのロールアウト構成を政策段階推定のための計算割当問題として検討する。 我々の中心的な主張は、政策が単に不確実である場所ではなく、追加のブランチが不確実性を最も減少させる場所に置くべきだというものである。 オンラインのシングルターン数学では、ツリーローカルクレジットは平らなGRPOを上回り、分岐配置はトークンレベルのクレジット代入に二次的である。
  論文  参考訳（メタデータ） (2026-09-17T10:08:48Z)
• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models [1.392661575766483]
  ホモモルフィック暗号化(HE)は、操作中に復号化することなく、暗号化データ上で計算を実行する方法を提供する。 HEは加法と乗法に限られており、非線型関数は元の形式と互換性がない。 本稿では,カーネルによるReLUの近似を提案し,HE制約設定内での利用を可能にする。
  論文  参考訳（メタデータ） (2026-05-22T13:54:37Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization [8.171217925484921]
  パラメータ効率の良い微調整によるフェデレートラーニング(FL)は、分散データ上でスケーラブルなモデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA)は、グローバルアグリゲーション中にエラーを導入し、差分プライバシー(DP)の負の効果を増幅する。 サーバサイドアグリゲーションを再活性化する,差分的にプライベートなクロスサイロFLフレームワークであるFedPowerを提案する。
  論文  参考訳（メタデータ） (2026-05-08T20:06:09Z)
• Learned Lyapunov Shielding for Adaptive Control [1.2891210250935148]
  我々は3つの学習成分を持つラグランジュ系に対するSlotine--Li適応制御器を拡張した。 クローズドフォームの安全フィルタは、オンラインQP解決器を必要とせずに、すべてのポリシー出力を安全なセットに投影する。 フランカ・エミカ・パンダ(Franka Emika Panda)による7-DOFのスケーラビリティに関する研究では、産業規模での完全なパイプラインのクリーンな収束を確認している。
  論文  参考訳（メタデータ） (2026-05-07T20:49:22Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
  協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T07:15:21Z)
• Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
  IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。 本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:50:19Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。