論文の概要: On Effects of Compression with Hyperdimensional Computing in Distributed Randomized Neural Networks

• arxiv url: http://arxiv.org/abs/2106.09831v1
• Date: Thu, 17 Jun 2021 22:02:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 13:58:36.120621
• Title: On Effects of Compression with Hyperdimensional Computing in Distributed Randomized Neural Networks
• Title（参考訳）: 分散ランダム化ニューラルネットワークにおける超次元計算による圧縮の効果について
• Authors: Antonello Rosato, Massimo Panella, Evgeny Osipov, Denis Kleyko
• Abstract要約: ランダム化ニューラルネットワークと超次元計算に基づく分散分類モデルを提案する。 本研究では,従来の圧縮アルゴリズムや次元減少,量子化技術と比較し,より柔軟な圧縮手法を提案する。
• 参考スコア（独自算出の注目度）: 6.25118865553438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A change of the prevalent supervised learning techniques is foreseeable in the near future: from the complex, computational expensive algorithms to more flexible and elementary training ones. The strong revitalization of randomized algorithms can be framed in this prospect steering. We recently proposed a model for distributed classification based on randomized neural networks and hyperdimensional computing, which takes into account cost of information exchange between agents using compression. The use of compression is important as it addresses the issues related to the communication bottleneck, however, the original approach is rigid in the way the compression is used. Therefore, in this work, we propose a more flexible approach to compression and compare it to conventional compression algorithms, dimensionality reduction, and quantization techniques.
• Abstract（参考訳）: 一般的な教師あり学習技術の変化は、近い将来、複雑で計算コストのかかるアルゴリズムから、より柔軟で初等的な訓練アルゴリズムへと変化することが予想される。 ランダム化アルゴリズムの強い再活性化は、この視点で考えることができる。 我々は最近,エージェント間の情報交換のコストを考慮した,ランダム化されたニューラルネットワークと超次元計算に基づく分散分類モデルを提案した。 圧縮の使用は、通信ボトルネックに関連する問題に対処するために重要であるが、元々のアプローチは、圧縮の使用方法において厳格である。 そこで本研究では,より柔軟な圧縮手法を提案し,従来の圧縮アルゴリズム,次元低減法,量子化法と比較する。

関連論文リスト

• Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
  近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。 現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。 本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
  論文  参考訳（メタデータ） (2024-10-07T09:08:32Z)
• AlphaZip: Neural Network-Enhanced Lossless Text Compression [0.0]
  本稿では,Large Language Model (LLM) を用いたロスレステキスト圧縮手法を提案する。 第一に、トランスフォーマーブロックのような高密度ニューラルネットワークアーキテクチャを使用した予測、第二に、予測ランクをAdaptive Huffman、LZ77、Gzipといった標準的な圧縮アルゴリズムで圧縮する。
  論文  参考訳（メタデータ） (2024-09-23T14:21:06Z)
• Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network [0.0]
  本稿では,ハードウェアフレンドリーなストリーミングロスレスボリューム圧縮フレームワークを提案する。 本稿では,多種多様な畳み込み構造と融合ゲート機構を組み合わせたゲートリカレント畳み込みニューラルネットワークを提案する。 提案手法は,堅牢な一般化能力と競争圧縮速度を示す。
  論文  参考訳（メタデータ） (2023-11-27T07:19:09Z)
• Bandwidth-efficient Inference for Neural Image Compression [26.87198174202502]
  本稿では,ニューラルデータ圧縮法により圧縮されたアクティベーションを用いた終端から終端までの帯域幅効率のよいニューラル推論法を提案する。 既存のモデル量子化法により最適化され、画像圧縮の低レベルタスクは6.21倍の省エネで最大19倍の帯域幅を削減できる。
  論文  参考訳（メタデータ） (2023-09-06T09:31:37Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Joint Global and Local Hierarchical Priors for Learned Image Compression [30.44884350320053]
  近年,従来の手書き画像コーデックと比較して,学習画像圧縮法の性能が向上している。 本稿では,ローカル情報とグローバル情報の両方をコンテンツに依存した方法で活用する,情報変換(Information Transformer, Informer)と呼ばれる新しいエントロピーモデルを提案する。 実験により,Informer はKodak および Tecnick データセットの最先端手法よりも速度歪み性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-12-08T06:17:37Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。