論文の概要: Joint Coreset Construction and Quantization for Distributed Machine Learning

• arxiv url: http://arxiv.org/abs/2204.06652v1
• Date: Wed, 13 Apr 2022 22:13:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 13:36:03.374602
• Title: Joint Coreset Construction and Quantization for Distributed Machine Learning
• Title（参考訳）: 分散機械学習のためのジョイントコアセットの構築と量子化
• Authors: Hanlin Lu, Changchang Liu, Shiqiang Wang, Ting He, Vijay Narayanan, Kevin S. Chan, Stephen Pasteris
• Abstract要約: 量子化手法をコアセット構築のプロセスに組み込む最初のフレームワークを提案する。 特に,コアセットの構成と量子化の組み合わせによって生じるML誤差境界を理論的に解析する。 我々のアルゴリズムは、ほとんどの場合、10%未満のML性能低下で90%以上のデータ削減を達成した。
• 参考スコア（独自算出の注目度）: 19.246549304560432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coresets are small, weighted summaries of larger datasets, aiming at providing provable error bounds for machine learning (ML) tasks while significantly reducing the communication and computation costs. To achieve a better trade-off between ML error bounds and costs, we propose the first framework to incorporate quantization techniques into the process of coreset construction. Specifically, we theoretically analyze the ML error bounds caused by a combination of coreset construction and quantization. Based on that, we formulate an optimization problem to minimize the ML error under a fixed budget of communication cost. To improve the scalability for large datasets, we identify two proxies of the original objective function, for which efficient algorithms are developed. For the case of data on multiple nodes, we further design a novel algorithm to allocate the communication budget to the nodes while minimizing the overall ML error. Through extensive experiments on multiple real-world datasets, we demonstrate the effectiveness and efficiency of our proposed algorithms for a variety of ML tasks. In particular, our algorithms have achieved more than 90% data reduction with less than 10% degradation in ML performance in most cases.
• Abstract（参考訳）: coresetは、大きなデータセットの小さな重み付けされた要約であり、通信と計算コストを大幅に削減しながら、機械学習(ml)タスクに証明可能なエラー境界を提供することを目指している。 MLエラー境界とコストのトレードオフを改善するために,コアセット構築プロセスに量子化技術を統合するための最初のフレームワークを提案する。 具体的には,コアセット構成と量子化の組み合わせによるml誤差境界を理論的に解析する。 そこで我々は,固定予算の通信コストでML誤差を最小化する最適化問題を定式化した。 大規模データセットのスケーラビリティを向上させるため,目的関数の2つのプロキシを同定し,効率的なアルゴリズムを開発する。 複数のノード上のデータに対して、MLエラーを最小化しながら通信予算をノードに割り当てる新しいアルゴリズムを設計する。 複数の実世界のデータセットに対する広範な実験を通じて,提案アルゴリズムの有効性と効率性を示す。 特に、我々のアルゴリズムは、ほとんどの場合、10%未満のML性能低下で90%以上のデータ削減を達成した。

関連論文リスト

• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Randomized Dimension Reduction with Statistical Guarantees [0.27195102129095]
  この論文は、高速な実行と効率的なデータ利用のためのアルゴリズムをいくつか探求している。 一般化と分散性を向上する様々なデータ拡張を組み込んだ学習アルゴリズムに着目する。 具体的には、第4章では、データ拡張整合正則化のための複雑性分析のサンプルを提示する。
  論文  参考訳（メタデータ） (2023-10-03T02:01:39Z)
• Communication-efficient Quantum Algorithm for Distributed Machine Learning [14.546892420890943]
  我々の量子アルゴリズムは、通信複雑性が$O(fraclog_2(N)epsilon)$で、$N$はデータポイントの数、$epsilon$はパラメータエラーのバウンドである。 分散内積とハミング距離を量子加速度で推定するアルゴリズムの構築ブロックは、分散機械学習の様々なタスクにさらに適用でき、通信を高速化できる。
  論文  参考訳（メタデータ） (2022-09-11T15:03:58Z)
• Dual Optimization for Kolmogorov Model Learning Using Enhanced Gradient Descent [8.714458129632158]
  コルモゴロフモデル(コルモゴロフモデル、英: Kolmogorov model、KM)は、確率変数の集合の基本的な確率構造を学ぶための解釈可能で予測可能な表現手法である。 正規化双対最適化と拡張勾配降下法(GD)を併用した計算スケーラブルなKM学習アルゴリズムを提案する。 提案したKM学習アルゴリズムを用いた論理的関係マイニングの精度は80%以上である。
  論文  参考訳（メタデータ） (2021-07-11T10:33:02Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)
• Stochastic Hard Thresholding Algorithms for AUC Maximization [49.00683387735522]
  分散分類におけるAUCのためのハードしきい値決定アルゴリズムを開発した。 提案アルゴリズムの有効性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-11-04T16:49:29Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
  通信効率のよい分散最適化の問題を考える。 特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。 実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-10T13:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。