論文の概要: TransCL: Transformer Makes Strong and Flexible Compressive Learning
- arxiv url: http://arxiv.org/abs/2207.11972v1
- Date: Mon, 25 Jul 2022 08:21:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 14:46:30.154073
- Title: TransCL: Transformer Makes Strong and Flexible Compressive Learning
- Title(参考訳): transcl: 強力で柔軟な圧縮学習を実現するトランスフォーマー
- Authors: Chong Mou, Jian Zhang
- Abstract要約: 圧縮学習(Compressive Learning, CL)は、圧縮センシング(CS)による信号取得と、少数の測定に基づいて直接推論タスクを行う機械学習を統合する新興フレームワークである。
CLの以前の試みはCS比の固定に留まらず、MNIST/CIFARのようなデータセットに限られており、複雑な現実世界の高解像度(HR)データやビジョンタスクにスケールしない。
本稿では,トランスCLと呼ばれる任意のCS比を持つ大規模画像を対象とした,トランスフォーマーに基づく新しい圧縮学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 11.613886854794133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compressive learning (CL) is an emerging framework that integrates signal
acquisition via compressed sensing (CS) and machine learning for inference
tasks directly on a small number of measurements. It can be a promising
alternative to classical image-domain methods and enjoys great advantages in
memory saving and computational efficiency. However, previous attempts on CL
are not only limited to a fixed CS ratio, which lacks flexibility, but also
limited to MNIST/CIFAR-like datasets and do not scale to complex real-world
high-resolution (HR) data or vision tasks. In this paper, a novel
transformer-based compressive learning framework on large-scale images with
arbitrary CS ratios, dubbed TransCL, is proposed. Specifically, TransCL first
utilizes the strategy of learnable block-based compressed sensing and proposes
a flexible linear projection strategy to enable CL to be performed on
large-scale images in an efficient block-by-block manner with arbitrary CS
ratios. Then, regarding CS measurements from all blocks as a sequence, a pure
transformer-based backbone is deployed to perform vision tasks with various
task-oriented heads. Our sufficient analysis presents that TransCL exhibits
strong resistance to interference and robust adaptability to arbitrary CS
ratios. Extensive experiments for complex HR data demonstrate that the proposed
TransCL can achieve state-of-the-art performance in image classification and
semantic segmentation tasks. In particular, TransCL with a CS ratio of $10\%$
can obtain almost the same performance as when operating directly on the
original data and can still obtain satisfying performance even with an
extremely low CS ratio of $1\%$. The source codes of our proposed TransCL is
available at \url{https://github.com/MC-E/TransCL/}.
- Abstract(参考訳): 圧縮学習(Compressive Learning, CL)は、圧縮センシング(CS)による信号取得と、少数の測定に基づいて直接推論タスクを行う機械学習を統合する新興フレームワークである。
従来のイメージドメインメソッドに代わる有望な選択肢となり、メモリ節約と計算効率の面で大きな利点を享受する。
しかし、CLの以前の試みは、柔軟性に欠ける固定CS比だけでなく、MNIST/CIFARのようなデータセットにも制限されており、複雑な現実世界の高解像度(HR)データやビジョンタスクにスケールしない。
本稿では,任意のCS比を持つ大規模画像を対象としたトランスフォーマーを用いた圧縮学習フレームワークTransCLを提案する。
特に、transclはまず学習可能なブロックベース圧縮センシングの戦略を利用し、柔軟な線形投影戦略を提案し、任意のcs比のブロックバイブロック方式で、大規模画像上でclを実行可能にする。
次に,全ブロックのCS測定をシーケンスとして,純粋トランスフォーマーベースのバックボーンを配置し,様々なタスク指向のヘッドで視覚タスクを実行する。
十分な解析により,TransCLは干渉に対する強い耐性を示し,任意のCS比に対する堅牢な適応性を示した。
複雑なHRデータに対する大規模な実験により、提案したTransCLは、画像分類やセマンティックセグメンテーションタスクにおいて最先端のパフォーマンスを達成できることを示した。
特に、CS比が10\%$のTransCLは、元のデータで直接操作する場合とほとんど同じ性能を得ることができ、非常に低いCS比が1\%$である場合でも、満足度の高い性能を得ることができる。
提案するtransclのソースコードは \url{https://github.com/mc-e/transcl/} で入手できる。
関連論文リスト
- Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - AICT: An Adaptive Image Compression Transformer [18.05997169440533]
我々は、より単純で効果的なTranformerベースのチャネルワイド自動回帰事前モデルを提案し、絶対画像圧縮変換器(ICT)を実現する。
提案したICTは、潜在表現からグローバルとローカルの両方のコンテキストをキャプチャできる。
我々は、サンドイッチのConvNeXtベースのプリ/ポストプロセッサで学習可能なスケーリングモジュールを活用し、よりコンパクトな潜在表現を正確に抽出する。
論文 参考訳(メタデータ) (2023-07-12T11:32:02Z) - Binarized Spectral Compressive Imaging [59.18636040850608]
ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。
本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。
BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
論文 参考訳(メタデータ) (2023-05-17T15:36:08Z) - Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset
Selection [59.77647907277523]
敵対的コントラスト学習(ACL)は、高価なデータアノテーションを必要としないが、敵対的攻撃に耐える堅牢な表現を出力する。
ACLは、すべてのトレーニングデータの逆の変種を生成するのに、膨大な実行時間が必要です。
本稿では,ACLの高速化を目的としたロバストネス対応コアセット選択(RCS)手法を提案する。
論文 参考訳(メタデータ) (2023-02-08T03:20:14Z) - Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。
本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。
LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-09-26T22:22:30Z) - Cross-receptive Focused Inference Network for Lightweight Image
Super-Resolution [64.25751738088015]
トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。
動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。
我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
論文 参考訳(メタデータ) (2022-07-06T16:32:29Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。