Fugu-MT 論文翻訳(概要): DP-KAN: Differentially Private Kolmogorov-Arnold Networks

論文の概要: DP-KAN: Differentially Private Kolmogorov-Arnold Networks

arxiv url: http://arxiv.org/abs/2407.12569v1
Date: Wed, 17 Jul 2024 13:52:21 GMT
ステータス: 処理完了
システム内更新日: 2024-07-18 17:07:03.116976
Title: DP-KAN: Differentially Private Kolmogorov-Arnold Networks
Title（参考訳）: DP-KAN: Kolmogorov-Arnold Networks
Authors: Nikita P. Kalinin, Simone Bombari, Hossein Zakerinia, Christoph H. Lampert,
Abstract要約: 我々は最近、古典的多層受容器(MLP)の代替として提案されたコルモゴロフ・アルノルドネットワーク(KAN)について研究する。 DP-SGDアルゴリズムを用いて,kanを直接的にプライベートにすることが可能であることを実証し,その性能を複数のデータセットで評価した。
参考スコア（独自算出の注目度）: 15.549424176583667
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the Kolmogorov-Arnold Network (KAN), recently proposed as an alternative to the classical Multilayer Perceptron (MLP), in the application for differentially private model training. Using the DP-SGD algorithm, we demonstrate that KAN can be made private in a straightforward manner and evaluated its performance across several datasets. Our results indicate that the accuracy of KAN is not only comparable with MLP but also experiences similar deterioration due to privacy constraints, making it suitable for differentially private model training.
Abstract（参考訳）: 我々は,従来のMLP(Multilayer Perceptron)の代替として最近提案されたKAN(Kolmogorov-Arnold Network)を,微分プライベートモデルトレーニングへの応用として検討した。 DP-SGDアルゴリズムを用いて,kanを直接的にプライベートにすることが可能であることを実証し,その性能を複数のデータセットで評価した。以上の結果から,kan の精度は MLP に匹敵するだけでなく,プライバシー制約による類似の劣化も経験していることが示唆された。

関連論文リスト

LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
論文参考訳（メタデータ） (2024-02-26T11:52:55Z)
Spectral Co-Distillation for Personalized Federated Learning [69.97016362754319]
本稿では,モデルスペクトル情報に基づく新しい蒸留法を提案する。また、汎用モデルトレーニングとパーソナライズモデルトレーニングの双方向ブリッジを確立するための共蒸留フレームワークも導入する。提案したスペクトル共蒸留法の有効性と性能を実証し,また,待ち時間のないトレーニングプロトコルについて述べる。
論文参考訳（メタデータ） (2024-01-29T16:01:38Z)
DPGOMI: Differentially Private Data Publishing with Gaussian Optimized Model Inversion [8.204115285718437]
本稿では,ガウス最適化モデルインバージョン(DPGOMI)を用いた微分プライベートデータパブリッシングを提案し,この問題に対処する。提案手法では, パブリックジェネレータを用いてプライベートデータを潜時空間にマッピングし, コンバージェンス特性が向上した低次元DP-GANを用いる。以上の結果から,DPGOMIは,インセプションスコア,Freche't Inception Distance,分類性能において,標準DP-GAN法よりも優れていた。
論文参考訳（メタデータ） (2023-10-06T18:46:22Z)
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise [30.005017338416327]
フェデレートラーニングは、クライアントにローカルトレーニングモデルのみを公開することによって、孤立したデータアイランドの問題に対処しようとしている。近年、データプライバシを保護するためのフェデレーション学習に差分プライバシーが適用されているが、付加されるノイズは学習性能を著しく低下させる可能性がある。適応雑音付きフェデレーション学習のための差分プライベートスキーム(Adap DP-FL)を提案する。
論文参考訳（メタデータ） (2022-11-29T03:20:40Z)
Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文参考訳（メタデータ） (2022-05-06T01:22:20Z)
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文参考訳（メタデータ） (2021-11-01T18:10:21Z)
Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文参考訳（メタデータ） (2021-10-12T01:45:27Z)
NeuralDP Differentially private neural networks by design [61.675604648670095]
ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
論文参考訳（メタデータ） (2021-07-30T12:40:19Z)
DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing [0.0]
DPlis--Differentially Private Learning wIth Smoothingを提案します。 DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
論文参考訳（メタデータ） (2021-03-02T06:33:14Z)
Differentially Private Deep Learning with Direct Feedback Alignment [15.410557873153833]
直接フィードバックアライメント(DFA)を用いたディープニューラルネットワークのトレーニングのための最初の微分プライベート手法を提案する。 DFAは、様々なアーキテクチャにおけるバックプロップベースの差分プライベートトレーニングと比較して、精度(しばしば10-20%)が大幅に向上する。
論文参考訳（メタデータ） (2020-10-08T00:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。