論文の概要: Efficient Implementation of Reinforcement Learning over Homomorphic Encryption

• arxiv url: http://arxiv.org/abs/2504.09335v1
• Date: Sat, 12 Apr 2025 20:34:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:52:32.182747
• Title: Efficient Implementation of Reinforcement Learning over Homomorphic Encryption
• Title（参考訳）: 同型暗号化による強化学習の効率的な実装
• Authors: Jihoon Suh, Takashi Tanaka,
• Abstract要約: 制御ポリシ合成をモデルベース,シミュレータ駆動,データ駆動のアプローチに分類する。 プライバシー強化のための完全同型暗号(FHE)の実装について検討する。 私たちの研究は、セキュアで効率的なクラウドベースの強化学習の可能性を示している。
• 参考スコア（独自算出の注目度）: 0.7673339435080445
• License:
• Abstract: We investigate encrypted control policy synthesis over the cloud. While encrypted control implementations have been studied previously, we focus on the less explored paradigm of privacy-preserving control synthesis, which can involve heavier computations ideal for cloud outsourcing. We classify control policy synthesis into model-based, simulator-driven, and data-driven approaches and examine their implementation over fully homomorphic encryption (FHE) for privacy enhancements. A key challenge arises from comparison operations (min or max) in standard reinforcement learning algorithms, which are difficult to execute over encrypted data. This observation motivates our focus on Relative-Entropy-regularized reinforcement learning (RL) problems, which simplifies encrypted evaluation of synthesis algorithms due to their comparison-free structures. We demonstrate how linearly solvable value iteration, path integral control, and Z-learning can be readily implemented over FHE. We conduct a case study of our approach through numerical simulations of encrypted Z-learning in a grid world environment using the CKKS encryption scheme, showing convergence with acceptable approximation error. Our work suggests the potential for secure and efficient cloud-based reinforcement learning.
• Abstract（参考訳）: クラウド上での暗号化制御ポリシ合成について検討する。 暗号化制御の実装については,これまで研究されてきたが,クラウドアウトソーシングに理想的な計算処理を含む,プライバシー保護制御合成のパラダイムは,あまり検討されていない。 制御ポリシ合成をモデルベース,シミュレータ駆動,データ駆動のアプローチに分類し,プライバシ強化のための完全同型暗号化(FHE)の実装を検討する。 鍵となる課題は、暗号化されたデータ上での実行が難しい標準的な強化学習アルゴリズムにおける比較操作(minまたはmax)から生じる。 この観察は、相対エントロピー規則化強化学習(RL)問題に焦点をあて、その比較自由構造による合成アルゴリズムの暗号化評価を単純化する。 線形解決可能な値反復,経路積分制御,Z-ラーニングがFHE上で容易に実装可能であることを示す。 CKKS暗号を用いたグリッド環境におけるZ-ラーニングの数値シミュレーションにより,提案手法のケーススタディを行い,近似誤差を許容する収束性を示す。 私たちの研究は、セキュアで効率的なクラウドベースの強化学習の可能性を示している。

関連論文リスト

• Cryptanalysis via Machine Learning Based Information Theoretic Metrics [58.96805474751668]
  本稿では,機械学習アルゴリズムの新たな2つの応用法を提案する。 これらのアルゴリズムは、監査設定で容易に適用でき、暗号システムの堅牢性を評価することができる。 本稿では,DES,RSA,AES ECBなど,IND-CPAの安全でない暗号化スキームを高精度に識別する。
  論文  参考訳（メタデータ） (2025-01-25T04:53:36Z)
• Privacy-Preserving Cyberattack Detection in Blockchain-Based IoT Systems Using AI and Homomorphic Encryption [22.82443900809095]
  本研究では,ブロックチェーンベースのIoT(Internet-of-Things)システムを対象とした,プライバシ保護型サイバー攻撃検出フレームワークを提案する。 このアプローチでは、人工知能(AI)による検出モジュールをブロックチェーンノードに戦略的にデプロイし、リアルタイム攻撃を特定する。 プライバシーを保護するため、データは送信前に同型暗号化(HE)を用いて暗号化される。 シミュレーションの結果,提案手法は学習時間を軽減できるだけでなく,暗号化のない手法とほぼ同一な検出精度を約0.01%で達成できることがわかった。
  論文  参考訳（メタデータ） (2024-12-18T05:46:53Z)
• FLUE: Federated Learning with Un-Encrypted model weights [0.0]
  フェデレートされた学習により、デバイスは、ローカルに保存されたトレーニングデータを保持しながら、共有モデルを協調的にトレーニングすることができる。 最近の研究では、トレーニング中に暗号化されたモデルパラメータを使うことが強調されている。 本稿では,符号化された局所勾配を暗号化なしで活用する,新しいフェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-26T14:04:57Z)
• Stable Inverse Reinforcement Learning: Policies from Control Lyapunov Landscapes [4.229902091180109]
  実験データからリアプノフ関数を学習するための新しい安定度認証IRL手法を提案する。 関連する制御ポリシーのクローズドフォーム表現を利用することで、CLFの空間を効率的に探索することができる。 我々は,CLFが提供する最適性に関する理論的解析を行い,シミュレーションデータと実世界データの両方を用いて我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-05-14T16:40:45Z)
• Verifiable Encodings for Secure Homomorphic Analytics [10.402772462535884]
  ホモモルフィック暗号化は、機密データ上のクラウドで除算された計算のプライバシを保護するための有望なソリューションである。 本稿では,クラウドベースの同型計算のクライアント検証を実現するための2つの誤り検出符号化とビルド認証手法を提案する。 我々は,暗号化されたデータ上で実行されたアウトソース計算の検証システムであるVERITASにソリューションを実装した。
  論文  参考訳（メタデータ） (2022-07-28T13:22:21Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• Learning Optimal Antenna Tilt Control Policies: A Contextual Linear Bandit Approach [65.27783264330711]
  セルラーネットワークにおけるアンテナ傾きの制御は、ネットワークのカバレッジとキャパシティの間の効率的なトレードオフに到達するために不可欠である。 既存のデータから最適な傾き制御ポリシーを学習するアルゴリズムを考案する。 従来のルールベースの学習アルゴリズムよりもはるかに少ないデータサンプルを用いて最適な傾き更新ポリシーを作成できることを示す。
  論文  参考訳（メタデータ） (2022-01-06T18:24:30Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Deep RL With Information Constrained Policies: Generalization in Continuous Control [21.46148507577606]
  情報フローに対する自然な制約は, 連続制御タスクにおいて, 人工エージェントに干渉する可能性があることを示す。 CLAC(Capacity-Limited Actor-Critic)アルゴリズムを実装した。 実験の結果、CLACは代替手法と比較して、トレーニング環境と修正テスト環境の一般化に改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-10-09T15:42:21Z)
• Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning [96.78504087416654]
  強化学習(RL)問題における効率的な探索に教師なし学習を用い,本パラダイムが有効であるかどうかを考察する。 本稿では,教師なし学習アルゴリズムと非線形表RLアルゴリズムという,2つのコンポーネント上に構築された汎用的なアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。