論文の概要: HyCoT: Hyperspectral Compression Transformer with an Efficient Training Strategy

• arxiv url: http://arxiv.org/abs/2408.08700v1
• Date: Fri, 16 Aug 2024 12:27:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 15:35:21.419806
• Title: HyCoT: Hyperspectral Compression Transformer with an Efficient Training Strategy
• Title（参考訳）: HyCoT:効率的なトレーニング戦略を備えたハイパースペクトル圧縮変圧器
• Authors: Martin Hermann Paul Fuchs, Behnood Rasti, Begüm Demir,
• Abstract要約: ハイパースペクトル圧縮変換器 (Hyperspectral Compression Transformer, HyCoT) は、画素ワイドHSI圧縮のためのトランスフォーマーベースのオートエンコーダである。 HySpecNet-11kデータセットの実験結果は、HyCoTが様々な圧縮比を1dB以上越えていることを示している。
• 参考スコア（独自算出の注目度）: 6.0163252984457145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of learning-based hyperspectral image (HSI) compression models has recently attracted significant interest. Existing models predominantly utilize convolutional filters, which capture only local dependencies. Furthermore, they often incur high training costs and exhibit substantial computational complexity. To address these limitations, in this paper we propose Hyperspectral Compression Transformer (HyCoT) that is a transformer-based autoencoder for pixelwise HSI compression. Additionally, we introduce an efficient training strategy to accelerate the training process. Experimental results on the HySpecNet-11k dataset demonstrate that HyCoT surpasses the state-of-the-art across various compression ratios by over 1 dB with significantly reduced computational requirements. Our code and pre-trained weights are publicly available at https://git.tu-berlin.de/rsim/hycot .
• Abstract（参考訳）: 近年,学習型ハイパースペクトル画像(HSI)圧縮モデルの開発が注目されている。 既存のモデルは、主に畳み込みフィルタを使用し、ローカル依存関係のみをキャプチャする。 さらに、彼らはしばしば高いトレーニングコストを発生させ、相当な計算複雑性を示す。 本稿では,HSI圧縮のためのトランスを用いたオートエンコーダであるHyperspectral Compression Transformer (HyCoT)を提案する。 さらに,トレーニングプロセスの高速化のための効率的なトレーニング戦略も導入する。 HySpecNet-11kデータセットの実験結果は、HyCoTが計算要求を大幅に低減した1dB以上の圧縮比で最先端を超越していることを示している。 私たちのコードと事前トレーニングされたウェイトはhttps://git.tu-berlin.de/rsim/hycot.orgで公開されています。

関連論文リスト

• CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
  CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。 本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。 エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。 推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
  論文  参考訳（メタデータ） (2024-12-23T10:41:18Z)
• DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression [27.834491128701963]
  本稿では,DeepFGSと呼ばれる微細な画像圧縮フレームワークを提案する。 エントロピー符号化では,基本的特徴とスケーラブルな特徴の相関関係を網羅する相互エントロピーモデルを設計する。 実験の結果,提案したDeepFGSは,従来の学習ベースでスケーラブルな画像圧縮モデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-11-30T11:19:38Z)
• UniCompress: Enhancing Multi-Data Medical Image Compression with Knowledge Distillation [59.3877309501938]
  Inlicit Neural Representation (INR) ネットワークは、その柔軟な圧縮比のため、顕著な汎用性を示している。 周波数領域情報を含むコードブックをINRネットワークへの事前入力として導入する。 これにより、INRの表現力が向上し、異なる画像ブロックに対して特異な条件付けが提供される。
  論文  参考訳（メタデータ） (2024-05-27T05:52:13Z)
• Unifying Generation and Compression: Ultra-low bitrate Image Coding Via Multi-stage Transformer [35.500720262253054]
  本稿では,新しい画像生成圧縮(UIGC)パラダイムを導入し,生成と圧縮のプロセスを統合する。 UIGCフレームワークの重要な特徴は、トークン化にベクトル量子化(VQ)イメージモデルを採用することである。 実験では、既存のコーデックよりも知覚品質と人間の知覚において、提案されたUIGCフレームワークが優れていることを示した。
  論文  参考訳（メタデータ） (2024-03-06T14:27:02Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Transferable Learned Image Compression-Resistant Adversarial Perturbations [66.46470251521947]
  敵対的攻撃は容易に画像分類システムを破壊し、DNNベースの認識タスクの脆弱性を明らかにする。 我々は、学習した画像圧縮機を前処理モジュールとして利用する画像分類モデルをターゲットにした新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-06T03:03:28Z)
• The Devil Is in the Details: Window-based Attention for Image Compression [58.1577742463617]
  既存の学習画像圧縮モデルは畳み込みニューラルネットワーク(CNN)に基づいている。 本稿では,複数種類の注意機構が局所特徴学習に与える影響について検討し,より単純で効果的なウィンドウベースの局所的注意ブロックを提案する。 提案されたウィンドウベースのアテンションは非常に柔軟で、CNNとTransformerモデルを強化するためのプラグイン・アンド・プレイコンポーネントとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-03-16T07:55:49Z)
• A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank [3.0938904602244355]
  自動ランク選択にビームサーチを改良し,圧縮フレンドリーなトレーニングに安定度を改良した低ランク圧縮法を提案する。 BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
  論文  参考訳（メタデータ） (2021-11-30T07:36:23Z)
• Slimmable Compressive Autoencoders for Practical Neural Image Compression [20.715312224456138]
  実画像圧縮のためのスリム圧縮オートエンコーダ(SlimCAEs)を提案する。 SlimCAEは、優れたレート歪み性能、可変率、メモリの動的調整、計算コスト、レイテンシを提供する柔軟性の高いモデルです。
  論文  参考訳（メタデータ） (2021-03-29T16:12:04Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。