論文の概要: HyCoT: Hyperspectral Compression Transformer with an Efficient Training Strategy
- arxiv url: http://arxiv.org/abs/2408.08700v1
- Date: Fri, 16 Aug 2024 12:27:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 15:35:21.419806
- Title: HyCoT: Hyperspectral Compression Transformer with an Efficient Training Strategy
- Title(参考訳): HyCoT:効率的なトレーニング戦略を備えたハイパースペクトル圧縮変圧器
- Authors: Martin Hermann Paul Fuchs, Behnood Rasti, Begüm Demir,
- Abstract要約: ハイパースペクトル圧縮変換器 (Hyperspectral Compression Transformer, HyCoT) は、画素ワイドHSI圧縮のためのトランスフォーマーベースのオートエンコーダである。
HySpecNet-11kデータセットの実験結果は、HyCoTが様々な圧縮比を1dB以上越えていることを示している。
- 参考スコア(独自算出の注目度): 6.0163252984457145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of learning-based hyperspectral image (HSI) compression models has recently attracted significant interest. Existing models predominantly utilize convolutional filters, which capture only local dependencies. Furthermore, they often incur high training costs and exhibit substantial computational complexity. To address these limitations, in this paper we propose Hyperspectral Compression Transformer (HyCoT) that is a transformer-based autoencoder for pixelwise HSI compression. Additionally, we introduce an efficient training strategy to accelerate the training process. Experimental results on the HySpecNet-11k dataset demonstrate that HyCoT surpasses the state-of-the-art across various compression ratios by over 1 dB with significantly reduced computational requirements. Our code and pre-trained weights are publicly available at https://git.tu-berlin.de/rsim/hycot .
- Abstract(参考訳): 近年,学習型ハイパースペクトル画像(HSI)圧縮モデルの開発が注目されている。
既存のモデルは、主に畳み込みフィルタを使用し、ローカル依存関係のみをキャプチャする。
さらに、彼らはしばしば高いトレーニングコストを発生させ、相当な計算複雑性を示す。
本稿では,HSI圧縮のためのトランスを用いたオートエンコーダであるHyperspectral Compression Transformer (HyCoT)を提案する。
さらに,トレーニングプロセスの高速化のための効率的なトレーニング戦略も導入する。
HySpecNet-11kデータセットの実験結果は、HyCoTが計算要求を大幅に低減した1dB以上の圧縮比で最先端を超越していることを示している。
私たちのコードと事前トレーニングされたウェイトはhttps://git.tu-berlin.de/rsim/hycot.orgで公開されています。
関連論文リスト
- Generalized Nested Latent Variable Models for Lossy Coding applied to Wind Turbine Scenarios [14.48369551534582]
学習に基づくアプローチは、圧縮率と再構成された画質の妥協を最小化する。
成功したテクニックは、2レベルネストされた潜伏変数モデル内で機能するディープハイパープライアの導入である。
本稿では,マルコフ連鎖構造を持つ一般化Lレベルネスト生成モデルを設計することによって,この概念を拡張した。
論文 参考訳(メタデータ) (2024-06-10T11:00:26Z) - Accelerating Distributed Deep Learning using Lossless Homomorphic
Compression [17.654138014999326]
本稿では,ワーカレベルの圧縮とネットワーク内アグリゲーションを効果的に融合する新しい圧縮アルゴリズムを提案する。
集約のスループットが6.33$times$改善され、イテレーションごとのトレーニング速度が3.74$times$アップします。
論文 参考訳(メタデータ) (2024-02-12T09:57:47Z) - A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす
モデル圧縮法は、Transformerのメモリと計算コストを削減する。
この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文 参考訳(メタデータ) (2024-02-05T12:16:28Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳(メタデータ) (2024-01-15T15:54:54Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳(メタデータ) (2023-05-29T10:15:19Z) - THC: Accelerating Distributed Deep Learning Using Tensor Homomorphic
Compression [0.0]
ディープニューラルネットワーク(Deep Neural Network, DNN)は、画像分類、コンピュータビジョン、自然言語処理などの重要なユースケースのデファクトスタンダードである。
データセットが大きくなると、ますます大きなクラスタ上での分散トレーニングが必要になる。
このボトルネックに対処し、トレーニングを加速するために、広くデプロイされたアプローチは圧縮である。
我々は、圧縮された値の直接集約を可能にする新しい双方向圧縮フレームワークであるホモモルフィック圧縮(THC)を紹介する。
論文 参考訳(メタデータ) (2023-02-16T19:48:20Z) - Does compressing activations help model parallel training? [64.59298055364336]
モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。
圧縮アルゴリズムの3つの共通クラスを実装し,評価する。
我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
論文 参考訳(メタデータ) (2023-01-06T18:58:09Z) - A Fast Transformer-based General-Purpose Lossless Compressor [19.5544227045828]
深層学習圧縮機にトランスフォーマーを導入し,履歴依存度を並列に構築する。
既存の変換器は計算に重すぎるため、圧縮タスクと互換性がない。
単層変圧器の容量をフル活用するために, バイトグループ化と共有フィン方式を提案する。
論文 参考訳(メタデータ) (2022-03-30T07:46:19Z) - An Efficient Statistical-based Gradient Compression Technique for
Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。
SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文 参考訳(メタデータ) (2021-01-26T13:06:00Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。