論文の概要: HyCoT: A Transformer-Based Autoencoder for Hyperspectral Image Compression

• arxiv url: http://arxiv.org/abs/2408.08700v2
• Date: Thu, 14 Nov 2024 15:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:21:47.574416
• Title: HyCoT: A Transformer-Based Autoencoder for Hyperspectral Image Compression
• Title（参考訳）: HyCoT:ハイパースペクトル画像圧縮のためのトランスフォーマーベースのオートエンコーダ
• Authors: Martin Hermann Paul Fuchs, Behnood Rasti, Begüm Demir,
• Abstract要約: ハイパースペクトル圧縮変換器 (Hyperspectral Compression Transformer, HyCoT) は、画素ワイドHSI圧縮のためのトランスフォーマーベースのオートエンコーダである。 HySpecNet-11kデータセットの実験結果は、HyCoTがPSNRの1dBを超える圧縮比で芸術の状態を超越していることを示している。
• 参考スコア（独自算出の注目度）: 6.0163252984457145
• License:
• Abstract: The development of learning-based hyperspectral image (HSI) compression models has recently attracted significant interest. Existing models predominantly utilize convolutional filters, which capture only local dependencies. Furthermore,they often incur high training costs and exhibit substantial computational complexity. To address these limitations, in this paper we propose Hyperspectral Compression Transformer (HyCoT) that is a transformer-based autoencoder for pixelwise HSI compression. Additionally, we apply a simple yet effective training set reduction approach to accelerate the training process. Experimental results on the HySpecNet-11k dataset demonstrate that HyCoT surpasses the state of the art across various compression ratios by over 1 dB of PSNR with significantly reduced computational requirements. Our code and pre-trained weights are publicly available at https://git.tu-berlin.de/rsim/hycot .
• Abstract（参考訳）: 近年,学習型ハイパースペクトル画像(HSI)圧縮モデルの開発が注目されている。 既存のモデルは、主に畳み込みフィルタを使用し、ローカル依存関係のみをキャプチャする。 さらに、しばしば高いトレーニングコストを発生させ、相当な計算複雑性を示す。 本稿では,HSI圧縮のためのトランスを用いたオートエンコーダであるHyperspectral Compression Transformer (HyCoT)を提案する。 さらに,トレーニングプロセスの高速化を目的として,簡易かつ効果的なトレーニングセット削減手法を適用した。 HySpecNet-11kデータセットによる実験結果から,HyCoTはPSNRの1dBを超える圧縮率で,計算要求を大幅に削減した。 私たちのコードと事前トレーニングされたウェイトはhttps://git.tu-berlin.de/rsim/hycot.orgで公開されています。

関連論文リスト

• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• Generalized Nested Latent Variable Models for Lossy Coding applied to Wind Turbine Scenarios [14.48369551534582]
  学習に基づくアプローチは、圧縮率と再構成された画質の妥協を最小化する。 成功したテクニックは、2レベルネストされた潜伏変数モデル内で機能するディープハイパープライアの導入である。 本稿では,マルコフ連鎖構造を持つ一般化Lレベルネスト生成モデルを設計することによって,この概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-10T11:00:26Z)
• Accelerating Distributed Deep Learning using Lossless Homomorphic Compression [17.654138014999326]
  本稿では,ワーカレベルの圧縮とネットワーク内アグリゲーションを効果的に融合する新しい圧縮アルゴリズムを提案する。 集約のスループットが6.33$times$改善され、イテレーションごとのトレーニング速度が3.74$times$アップします。
  論文  参考訳（メタデータ） (2024-02-12T09:57:47Z)
• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• THC: Accelerating Distributed Deep Learning Using Tensor Homomorphic Compression [0.0]
  ディープニューラルネットワーク(Deep Neural Network, DNN)は、画像分類、コンピュータビジョン、自然言語処理などの重要なユースケースのデファクトスタンダードである。 データセットが大きくなると、ますます大きなクラスタ上での分散トレーニングが必要になる。 このボトルネックに対処し、トレーニングを加速するために、広くデプロイされたアプローチは圧縮である。 我々は、圧縮された値の直接集約を可能にする新しい双方向圧縮フレームワークであるホモモルフィック圧縮(THC)を紹介する。
  論文  参考訳（メタデータ） (2023-02-16T19:48:20Z)
• Does compressing activations help model parallel training? [64.59298055364336]
  モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。 圧縮アルゴリズムの3つの共通クラスを実装し,評価する。 我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
  論文  参考訳（メタデータ） (2023-01-06T18:58:09Z)
• A Fast Transformer-based General-Purpose Lossless Compressor [19.5544227045828]
  深層学習圧縮機にトランスフォーマーを導入し,履歴依存度を並列に構築する。 既存の変換器は計算に重すぎるため、圧縮タスクと互換性がない。 単層変圧器の容量をフル活用するために, バイトグループ化と共有フィン方式を提案する。
  論文  参考訳（メタデータ） (2022-03-30T07:46:19Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。