Fugu-MT 論文翻訳(概要): Privacy-Preserving CNN Training with Transfer Learning: Two Hidden Layers

論文の概要: Privacy-Preserving CNN Training with Transfer Learning: Two Hidden Layers

arxiv url: http://arxiv.org/abs/2504.12623v1
Date: Thu, 17 Apr 2025 03:58:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-18 14:34:59.788299
Title: Privacy-Preserving CNN Training with Transfer Learning: Two Hidden Layers
Title（参考訳）: トランスファーラーニングによるプライバシ保護型CNNトレーニング:2つの隠れレイヤ
Authors: John Chiang,
Abstract要約: 完全同相暗号(FHE)を用いた4層ニューラルネットワークの学習例を示す。我々の研究の重要な貢献は、textitSoftmax を textitSigmoid に置き換えることと、BCE(Binary Cross-Entropy)損失関数と組み合わせることで、同型分類のための効果的でスケーラブルなソリューションが提供されることである。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: In this paper, we present the demonstration of training a four-layer neural network entirely using fully homomorphic encryption (FHE), supporting both single-output and multi-output classification tasks in a non-interactive setting. A key contribution of our work is identifying that replacing \textit{Softmax} with \textit{Sigmoid}, in conjunction with the Binary Cross-Entropy (BCE) loss function, provides an effective and scalable solution for homomorphic classification. Moreover, we show that the BCE loss function, originally designed for multi-output tasks, naturally extends to the multi-class setting, thereby enabling broader applicability. We also highlight the limitations of prior loss functions such as the SLE loss and the one proposed in the 2019 CVPR Workshop, both of which suffer from vanishing gradients as network depth increases. To address the challenges posed by large-scale encrypted data, we further introduce an improved version of the previously proposed data encoding scheme, \textit{Double Volley Revolver}, which achieves a better trade-off between computational and memory efficiency, making FHE-based neural network training more practical. The complete, runnable C++ code to implement our work can be found at: \href{https://github.com/petitioner/ML.NNtraining}{$\texttt{https://github.com/petitioner/ML.NNtraining}$}.
Abstract（参考訳）: 本稿では,完全同型暗号(FHE)を用いた4層ニューラルネットワークのトレーニングについて述べる。我々の研究の重要な貢献は、二項クロスエントロピー(BCE)損失関数と組み合わせて、 \textit{Softmax} を \textit{Sigmoid} に置き換えることで、同型分類のための効果的でスケーラブルな解が得られることである。さらに、BCE損失関数は、もともとマルチ出力タスク用に設計されたもので、自然にマルチクラス設定に拡張され、より広い適用性を実現する。また,SLE損失などの先行的損失関数の限界や,ネットワーク深度の増加に伴う勾配の消失に悩まされている,2019 CVPR Workshop で提案されている機能についても強調する。大規模暗号化データによって引き起こされる課題に対処するため,従来提案されていたデータ符号化方式である \textit{Double Volley Revolver} の改良版も導入し,計算効率とメモリ効率のトレードオフを向上し,FHEベースのニューラルネットワークトレーニングをより実用的なものにする。私たちの作業を実装するための完全な実行可能なC++コードは、以下のとおりである。

関連論文リスト

BiHRNet: A Binary high-resolution network for Human Pose Estimation [11.250422970707415]
重みとアクティベーションを$pm$1と表現したBiHRNetという2値のポーズ推定器を提案する。 BiHRNetは、バイナリニューラルネットワーク(BNN)を適用することで、少ないコンピューティングリソースを使用しながら、HRNetのキーポイント抽出能力を保っている。我々は、BiHRNetがMPIIデータセット上で87.9のPCKhを達成することを示す。
論文参考訳（メタデータ） (2023-11-17T03:01:37Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。提案するフレームワークは,合理的な性能で高い効率性を示す。
論文参考訳（メタデータ） (2023-04-20T07:21:32Z)
Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文参考訳（メタデータ） (2022-12-05T14:47:52Z)
Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文参考訳（メタデータ） (2022-05-26T19:01:19Z)
Binarizing by Classification: Is soft function really necessary? [4.329951775163721]
本稿では,二項分類問題としてネットワークバイナライゼーションに取り組むことを提案する。また、ポーズ推定モデルの軽量化手法としてバイナライゼーションを用いる。提案手法により,最大60.6ドルのmAPを初めて達成できる。
論文参考訳（メタデータ） (2022-05-16T02:47:41Z)
MultiAuto-DeepONet: A Multi-resolution Autoencoder DeepONet for Nonlinear Dimension Reduction, Uncertainty Quantification and Operator Learning of Forward and Inverse Stochastic Problems [12.826754199680474]
本稿では,微分方程式(SDE)の演算子学習のための新しいデータ駆動手法を提案する。中心的な目標は、限られたデータを使ってより効果的に前方および逆問題を解決することである。
論文参考訳（メタデータ） (2022-04-07T03:53:49Z)
Multi-scale and Cross-scale Contrastive Learning for Semantic Segmentation [5.281694565226513]
セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
論文参考訳（メタデータ） (2022-03-25T01:24:24Z)
High-Capacity Expert Binary Networks [56.87581500474093]
ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
論文参考訳（メタデータ） (2020-10-07T17:58:10Z)
Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文参考訳（メタデータ） (2020-10-01T17:51:49Z)
Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。