論文の概要: OpBoost: A Vertical Federated Tree Boosting Framework Based on Order-Preserving Desensitization

• arxiv url: http://arxiv.org/abs/2210.01318v1
• Date: Tue, 4 Oct 2022 02:21:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 15:36:31.468667
• Title: OpBoost: A Vertical Federated Tree Boosting Framework Based on Order-Preserving Desensitization
• Title（参考訳）: OpBoost: 順序保存脱感作に基づく垂直フェデレーションツリーブースティングフレームワーク
• Authors: Xiaochen Li, Yuke Hu, Weiran Liu, Hanwen Feng, Li Peng, Yuan Hong, Kui Ren, Zhan Qin
• Abstract要約: Vertical Federated Learning(FL)は、同じデータサンプルの非重複属性を持つユーザが、生データを共有することなく、共同でモデルをトレーニングできる新しいパラダイムである。 最近の研究は、トレーニングプロセスやトレーニングされたモデルからプライバシーが漏洩するのを防ぐのに、まだ不十分であることを示しています。 本稿では,垂直FL下でのプライバシー保護木増進アルゴリズムの研究に焦点をあてる。
• 参考スコア（独自算出の注目度）: 26.386265547513887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vertical Federated Learning (FL) is a new paradigm that enables users with non-overlapping attributes of the same data samples to jointly train a model without directly sharing the raw data. Nevertheless, recent works show that it's still not sufficient to prevent privacy leakage from the training process or the trained model. This paper focuses on studying the privacy-preserving tree boosting algorithms under the vertical FL. The existing solutions based on cryptography involve heavy computation and communication overhead and are vulnerable to inference attacks. Although the solution based on Local Differential Privacy (LDP) addresses the above problems, it leads to the low accuracy of the trained model. This paper explores to improve the accuracy of the widely deployed tree boosting algorithms satisfying differential privacy under vertical FL. Specifically, we introduce a framework called OpBoost. Three order-preserving desensitization algorithms satisfying a variant of LDP called distance-based LDP (dLDP) are designed to desensitize the training data. In particular, we optimize the dLDP definition and study efficient sampling distributions to further improve the accuracy and efficiency of the proposed algorithms. The proposed algorithms provide a trade-off between the privacy of pairs with large distance and the utility of desensitized values. Comprehensive evaluations show that OpBoost has a better performance on prediction accuracy of trained models compared with existing LDP approaches on reasonable settings. Our code is open source.
• Abstract（参考訳）: Vertical Federated Learning(FL)は、同じデータサンプルの非重複属性を持つユーザが、生データを直接共有することなく、共同でモデルをトレーニングできる新しいパラダイムである。 それでも、最近の研究は、トレーニングプロセスやトレーニングモデルからプライバシーの漏洩を防止するのにまだ不十分であることを示している。 本稿では,垂直FL下でのプライバシー保護木増進アルゴリズムの研究に焦点をあてる。 暗号に基づく既存のソリューションは、重い計算と通信のオーバーヘッドを伴い、推論攻撃に弱い。 ローカル微分プライバシー(LDP)に基づくソリューションは上記の問題に対処するが、訓練されたモデルの精度は低い。 本稿では,垂直FL下での差分プライバシーを満たす木増進アルゴリズムの精度向上について検討する。 具体的には、OpBoostというフレームワークを紹介します。 距離ベースDP(dLDP)と呼ばれるLDPの変種を満たす3つの順序保存脱感作アルゴリズムは、トレーニングデータを脱感作するために設計されている。 特に,提案アルゴリズムの精度と効率をさらに向上させるために,dLDP定義の最適化と効率的なサンプリング分布の検討を行う。 提案アルゴリズムは,距離の広いペアのプライバシと脱感応値の有用性のトレードオフを提供する。 総合的な評価では、OpBoostは訓練されたモデルの予測精度において、合理的な設定における既存のLCPアプローチよりも優れたパフォーマンスを示している。 私たちのコードはオープンソースです。

関連論文リスト

• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
  Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。 我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。 実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
  論文  参考訳（メタデータ） (2022-06-21T17:45:35Z)
• Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates [0.0]
  我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。 当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。 提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
  論文  参考訳（メタデータ） (2022-02-18T19:58:47Z)
• FedBoosting: Federated Learning with Gradient Protected Boosting for Text Recognition [7.988454173034258]
  フェデレートラーニング(FL)フレームワークは、データの集中化やデータオーナ間の共有なしに、共有モデルを協調的に学習することを可能にする。 本稿では,非独立性および非独立性分散(Non-IID)データに基づくジョイントモデルの一般化能力について述べる。 本稿では,FLの一般化と勾配リーク問題に対処する新しいブースティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-14T18:47:23Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。