論文の概要: Large-Scale Distributed Learning via Private On-Device Locality-Sensitive Hashing

• arxiv url: http://arxiv.org/abs/2306.02563v1
• Date: Mon, 5 Jun 2023 03:33:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 17:11:09.300589
• Title: Large-Scale Distributed Learning via Private On-Device Locality-Sensitive Hashing
• Title（参考訳）: デバイス上での大規模分散学習
• Authors: Tahseen Rabbani, Marco Bornstein, Furong Huang
• Abstract要約: 我々は、最初のプライベート、パーソナライズ、メモリ効率のLSHフレームワークを開発する。 我々のフレームワークは、各デバイスが中央ホストの助けを借りずにハッシュテーブルを生成できるようにすることで、プライバシとパーソナライズを可能にする。 我々はハッシュ関数の統計的および感度特性を幾つか証明し、我々のフレームワークが大規模リコメンデータネットワークのトレーニングに競争力があることを実験的に実証した。
• 参考スコア（独自算出の注目度）: 11.885388917784804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Locality-sensitive hashing (LSH) based frameworks have been used efficiently to select weight vectors in a dense hidden layer with high cosine similarity to an input, enabling dynamic pruning. While this type of scheme has been shown to improve computational training efficiency, existing algorithms require repeated randomized projection of the full layer weight, which is impractical for computational- and memory-constrained devices. In a distributed setting, deferring LSH analysis to a centralized host is (i) slow if the device cluster is large and (ii) requires access to input data which is forbidden in a federated context. Using a new family of hash functions, we develop one of the first private, personalized, and memory-efficient on-device LSH frameworks. Our framework enables privacy and personalization by allowing each device to generate hash tables, without the help of a central host, using device-specific hashing hyper-parameters (e.g. number of hash tables or hash length). Hash tables are generated with a compressed set of the full weights, and can be serially generated and discarded if the process is memory-intensive. This allows devices to avoid maintaining (i) the fully-sized model and (ii) large amounts of hash tables in local memory for LSH analysis. We prove several statistical and sensitivity properties of our hash functions, and experimentally demonstrate that our framework is competitive in training large-scale recommender networks compared to other LSH frameworks which assume unrestricted on-device capacity.
• Abstract（参考訳）: 局所性に敏感なハッシュ(LSH)ベースのフレームワークは、入力とコサインの類似性の高い密閉層内の重みベクトルを効率的に選択するために使われ、動的プルーニングを可能にする。 この種のスキームは計算のトレーニング効率を改善することが示されているが、既存のアルゴリズムでは全層重みのランダムな投影を繰り返す必要がある。 分散環境では、LSH解析を集中ホストに遅延させる。 (i)デバイスクラスタが大きくて遅い場合 (ii)フェデレーションされた文脈で禁止される入力データへのアクセスを必要とする。 新しいハッシュ関数群を用いて、デバイス上で最初にプライベートでパーソナライズされ、メモリ効率のよいLSHフレームワークを開発する。 このフレームワークは、デバイス固有のハッシュハイパーパラメータ(ハッシュテーブルの数やハッシュ長など)を使用して、中央ホストの助けなしに各デバイスがハッシュテーブルを生成できるように、プライバシとパーソナライズを可能にします。 ハッシュテーブルは全重みの圧縮セットで生成され、プロセスがメモリ集約であればシリアルに生成および破棄することができる。 これにより 装置のメンテナンスを (i)完全サイズのモデル、及び (II)LSH解析のためのローカルメモリにおける大量のハッシュテーブル。 ハッシュ関数のいくつかの統計的・感度特性を実証し,非制限オンデバイスキャパシティを想定する他のlshフレームワークと比較して,大規模レコメンデータネットワークのトレーニングにおいて,我々のフレームワークが競争力があることを実験的に証明した。

関連論文リスト

• Sparse-Inductive Generative Adversarial Hashing for Nearest Neighbor Search [8.020530603813416]
  本稿では,Sparsity-induced Generative Adversarial Hashing (SiGAH)と呼ばれる新しい教師なしハッシュ法を提案する。 SiGAHは、大規模な高次元特徴をバイナリコードにエンコードする。 Tiny100K、GIST1M、Deep1M、MNISTの4つのベンチマーク実験の結果、提案されたSiGAHは最先端のアプローチよりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-06-12T08:07:23Z)
• Binary Representation via Jointly Personalized Sparse Hashing [22.296464665032588]
  二元表現学習のための効果的な教師なし手法、すなわち、共同パーソナライズされたスパースハッシュ(JPSH)を提案する。 異なるパーソナライズされたサブスペースは、異なるクラスタのカテゴリ固有の属性を反映するように構成される。 JPSHにおける意味とペアの類似性を同時に保存するために,PSHと多様体に基づくハッシュ学習をシームレスな定式化に組み込む。
  論文  参考訳（メタデータ） (2022-08-31T14:18:37Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• ASH: A Modern Framework for Parallel Spatial Hashing in 3D Perception [91.24236600199542]
  ASHは、GPU上の並列空間ハッシュのためのモダンで高性能なフレームワークである。 ASHはより高いパフォーマンスを実現し、よりリッチな機能をサポートし、より少ないコード行を必要とする。 ASHとそのサンプルアプリケーションはOpen3Dでオープンソース化されている。
  論文  参考訳（メタデータ） (2021-10-01T16:25:40Z)
• Secure Neuroimaging Analysis using Federated Learning with Homomorphic Encryption [14.269757725951882]
  フェデレートラーニング(FL)は、異なるリモートデータソース上の機械学習モデルの分散計算を可能にする。 最近のメンバーシップ攻撃は、モデルパラメータや要約統計が中央サイトと共有されているときに、個人的または機密性の高い個人情報が漏洩したり、推測されることがあることを示している。 完全同相暗号(FHE)を用いたセキュアFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-07T12:15:52Z)
• CIMON: Towards High-quality Hash Codes [63.37321228830102]
  我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。 まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
  論文  参考訳（メタデータ） (2020-10-15T14:47:14Z)
• Deep Hashing with Hash-Consistent Large Margin Proxy Embeddings [65.36757931982469]
  画像ハッシュコードは、分類または検索のために訓練された畳み込みニューラルネットワーク(CNN)の埋め込みをバイナライズすることによって生成される。 この曖昧さを解消するために、固定されたプロキシ(CNN分類層の重み)の使用が提案されている。 得られたHCLMプロキシはハッシュ単位の飽和を促進することが示され、小さな二項化誤差が保証される。
  論文  参考訳（メタデータ） (2020-07-27T23:47:43Z)
• Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
  既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。 本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。 ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
  論文  参考訳（メタデータ） (2020-06-16T01:23:39Z)
• Reinforcing Short-Length Hashing [61.75883795807109]
  既存の手法は、非常に短いハッシュコードを用いた検索性能が劣っている。 本研究では, 短寿命ハッシュ(RSLH)を改良する新しい手法を提案する。 本稿では,ハッシュ表現とセマンティックラベルの相互再構成を行い,セマンティック情報を保存する。 3つの大規模画像ベンチマークの実験は、様々な短いハッシュシナリオ下でのRSLHの優れた性能を示す。
  論文  参考訳（メタデータ） (2020-04-24T02:23:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。