論文の概要: Decentralized Complete Dictionary Learning via $\ell^{4}$-Norm Maximization

• arxiv url: http://arxiv.org/abs/2211.03628v1
• Date: Mon, 7 Nov 2022 15:36:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 19:31:10.786209
• Title: Decentralized Complete Dictionary Learning via $\ell^{4}$-Norm Maximization
• Title（参考訳）: $\ell^{4}$-Norm Maximizationによる分散完全辞書学習
• Authors: Qiheng Lu, Lixiang Lian
• Abstract要約: 本稿では,$ell4$-normに基づく分散完全辞書学習アルゴリズムを提案する。 既存の分散辞書学習アルゴリズムと比較して、新しいアルゴリズムは多くのシナリオにおいて、解法毎の計算複雑性、通信コスト、収束率の点で大きな利点がある。
• 参考スコア（独自算出の注目度）: 1.2995632804090198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of information technologies, centralized data processing is subject to many limitations, such as computational overheads, communication delays, and data privacy leakage. Decentralized data processing over networked terminal nodes becomes an important technology in the era of big data. Dictionary learning is a powerful representation learning method to exploit the low-dimensional structure from the high-dimensional data. By exploiting the low-dimensional structure, the storage and the processing overhead of data can be effectively reduced. In this paper, we propose a novel decentralized complete dictionary learning algorithm, which is based on $\ell^{4}$-norm maximization. Compared with existing decentralized dictionary learning algorithms, comprehensive numerical experiments show that the novel algorithm has significant advantages in terms of per-iteration computational complexity, communication cost, and convergence rate in many scenarios. Moreover, a rigorous theoretical analysis shows that the dictionaries learned by the proposed algorithm can converge to the one learned by a centralized dictionary learning algorithm at a linear rate with high probability under certain conditions.
• Abstract（参考訳）: 情報技術の急速な発展に伴い、中央集権的なデータ処理には、計算オーバーヘッド、通信遅延、データプライバシーの漏洩など、多くの制限がある。 ネットワーク化された端末ノード上での分散データ処理は、ビッグデータの時代において重要な技術となる。 辞書学習は,高次元データから低次元構造を利用する強力な表現学習手法である。 低次元構造を利用することにより、データの記憶と処理オーバーヘッドを効果的に低減することができる。 本稿では,$\ell^{4}$-normの最大化に基づく分散完全辞書学習アルゴリズムを提案する。 既存の分散辞書学習アルゴリズムと比較すると,本アルゴリズムの計算量,通信コスト,収束率など多くのシナリオにおいて,本アルゴリズムは有意なアドバンテージを持つことが示された。 さらに, 厳密な理論解析により, 提案アルゴリズムによって学習された辞書は, 一定の条件下で確率の高い線形率で, 集中型辞書学習アルゴリズムによって学習された辞書に収束することを示した。

関連論文リスト

• Lightweight Conceptual Dictionary Learning for Text Classification Using Information Compression [15.460141768587663]
  データ圧縮と表現に基づくテキスト分類のための軽量な教師付き辞書学習フレームワークを提案する。 我々は,情報ボトルネックの原理を用いて情報理論性能を評価し,情報理論性能を定量化するための新しい指標として情報平面面積ランク(IPAR)を導入する。
  論文  参考訳（メタデータ） (2024-04-28T10:11:52Z)
• A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data [2.9642661320713555]
  ほとんどの機械学習アルゴリズムは、様々なソースから収集される大量のデータに大きく依存している。 この問題に対処するため、研究者らはフェデレーション学習を導入し、クライアントデータのプライバシーを確保することによって予測モデルを学習した。 本研究では,ニューラルネットワークに基づくフェデレーション学習システムを提案する。
  論文  参考訳（メタデータ） (2023-11-16T17:14:07Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Simple Alternating Minimization Provably Solves Complete Dictionary Learning [13.056764072568749]
  本稿では、与えられた信号の集合を学習辞書からの原子の線形結合として再パラメータ化することを目的とする完全な辞書問題に焦点を当てる。 理論的および実践的な辞書学習には、実用的なアルゴリズムに対する理論的保証の欠如と、大規模データセットを扱う際のスケーラビリティの低下という2つの大きな課題がある。
  論文  参考訳（メタデータ） (2022-10-23T18:30:45Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Online Orthogonal Dictionary Learning Based on Frank-Wolfe Method [3.198144010381572]
  辞書学習は信号処理や機械学習で広く使われている教師なし学習手法である。 提案手法は,新しい問題定式化と収束解析を用いた効率的なオンラインアルゴリズム設計を含む。 合成データと実世界のセンサ読み取り実験により,提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2021-03-02T05:49:23Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
  ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。 本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。 各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-17T18:14:30Z)
• Communication-Efficient Distributed Deep Learning: A Comprehensive Survey [22.42450750097714]
  本稿では,コミュニケーション効率のよい分散学習アルゴリズムの総合的な調査を行う。 まず,データ並列分散トレーニングアルゴリズムの分類法を提案する。 次に、これらの4次元の問題に対処する最先端の研究について検討する。
  論文  参考訳（メタデータ） (2020-03-10T05:42:44Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)
• Distributed Learning in the Non-Convex World: From Batch to Streaming Data, and Beyond [73.03743482037378]
  分散学習は、多くの人々が想定する、大規模に接続された世界の重要な方向となっている。 本稿では、スケーラブルな分散処理とリアルタイムデータ計算の4つの重要な要素について論じる。 実践的な問題や今後の研究についても論じる。
  論文  参考訳（メタデータ） (2020-01-14T14:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。