論文の概要: RS-DGC: Exploring Neighborhood Statistics for Dynamic Gradient Compression on Remote Sensing Image Interpretation

• arxiv url: http://arxiv.org/abs/2312.17530v1
• Date: Fri, 29 Dec 2023 09:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-02 10:15:26.569780
• Title: RS-DGC: Exploring Neighborhood Statistics for Dynamic Gradient Compression on Remote Sensing Image Interpretation
• Title（参考訳）: RS-DGC:リモートセンシング画像解釈における動的勾配圧縮の周辺統計探査
• Authors: Weiying Xie, Zixuan Wang, Jitao Ma, Daixun Li, Yunsong Li
• Abstract要約: 通信コスト削減のためのGC技術として,勾配スペーシフィケーションの有効性が検証されている。 本稿では,RS-DGC画像解釈のための近傍統計指標を用いた簡易かつ効果的な動的勾配圧縮手法を提案する。 NWPU-RESISC45データセットの50倍以上の通信圧縮で0.51%の精度向上を実現した。
• 参考スコア（独自算出の注目度）: 23.649838489244917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed deep learning has recently been attracting more attention in remote sensing (RS) applications due to the challenges posed by the increased amount of open data that are produced daily by Earth observation programs. However, the high communication costs of sending model updates among multiple nodes are a significant bottleneck for scalable distributed learning. Gradient sparsification has been validated as an effective gradient compression (GC) technique for reducing communication costs and thus accelerating the training speed. Existing state-of-the-art gradient sparsification methods are mostly based on the "larger-absolute-more-important" criterion, ignoring the importance of small gradients, which is generally observed to affect the performance. Inspired by informative representation of manifold structures from neighborhood information, we propose a simple yet effective dynamic gradient compression scheme leveraging neighborhood statistics indicator for RS image interpretation, termed RS-DGC. We first enhance the interdependence between gradients by introducing the gradient neighborhood to reduce the effect of random noise. The key component of RS-DGC is a Neighborhood Statistical Indicator (NSI), which can quantify the importance of gradients within a specified neighborhood on each node to sparsify the local gradients before gradient transmission in each iteration. Further, a layer-wise dynamic compression scheme is proposed to track the importance changes of each layer in real time. Extensive downstream tasks validate the superiority of our method in terms of intelligent interpretation of RS images. For example, we achieve an accuracy improvement of 0.51% with more than 50 times communication compression on the NWPU-RESISC45 dataset using VGG-19 network.
• Abstract（参考訳）: 分散ディープラーニング(distributed deep learning)は、地球観測プログラムによって毎日生成されるオープンデータの量の増加によって引き起こされる課題のために、リモートセンシング(rs)アプリケーションで注目を集めている。 しかし、複数のノード間でモデル更新を送信するための高い通信コストは、スケーラブルな分散学習にとって大きなボトルネックである。 グラディエントスペーシフィケーションは、通信コストを削減し、トレーニング速度を加速する効果的な勾配圧縮(GC)技術として検証されている。 現状のグラデーションスパーシフィケーション法は主に「より大きく、より重要」な基準に基づいており、パフォーマンスに影響を与えるために一般的に観察される小さなグラデーションの重要性を無視している。 近傍情報からの多様体構造の情報表現に着想を得て,RS-DGC と呼ばれる近傍統計指標を用いた簡易かつ効果的な動的勾配圧縮手法を提案する。 まず、勾配近傍を導入することで勾配間の相互依存性を高め、ランダムノイズの影響を低減する。 RS-DGCのキーコンポーネントはNSI(Neighborhood Statistical Indicator)であり、各ノード上の特定の近傍における勾配の重要性を定量化し、各イテレーションにおける勾配伝達前の局所勾配を分散させる。 さらに, 各層の重要性変化をリアルタイムで追跡するために, 層幅動的圧縮方式を提案する。 広範なダウンストリームタスクは,rs画像のインテリジェントな解釈という観点から,提案手法の優位性を検証する。 例えば、VGG-19ネットワークを用いて、NWPU-RESISC45データセット上で50倍以上の通信圧縮を行い、0.51%の精度向上を実現した。

関連論文リスト

• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Low-Dimensional Gradient Helps Out-of-Distribution Detection [26.237034426573523]
  OOD検出における勾配情報全体の活用を総合的に検討する。 主な課題は、ネットワークパラメータの多さによる勾配の高次元性から生じる。 指定された部分空間を用いて勾配の線形次元削減を行う。 この革新的な手法により、情報損失を最小限に抑えた勾配の低次元表現が得られる。
  論文  参考訳（メタデータ） (2023-10-26T05:28:32Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
  ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。 勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。 自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-06T14:09:47Z)
• Communication-Efficient Distributed SGD with Compressed Sensing [24.33697801661053]
  中央サーバに接続されたエッジデバイスの集合に対する大規模分散最適化について検討する。 近年のフェデレート学習の進歩に触発されて,通信負担を軽減するために,分散勾配降下(SGD)型アルゴリズムを提案する。 我々は,通信チャネルによって発生する雑音摂動の存在下でのアルゴリズムの収束に関する理論的解析を行い,その効果を裏付ける数値実験を行う。
  論文  参考訳（メタデータ） (2021-12-15T02:10:45Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。