論文の概要: Wavelet-Driven Masked Image Modeling: A Path to Efficient Visual Representation
- arxiv url: http://arxiv.org/abs/2503.00782v1
- Date: Sun, 02 Mar 2025 08:11:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:18:54.478037
- Title: Wavelet-Driven Masked Image Modeling: A Path to Efficient Visual Representation
- Title（参考訳）: ウェーブレット駆動型マスク画像モデリング:効率的な視覚表現への道
- Authors: Wenzhao Xiang, Chang Liu, Hongyang Yu, Xilin Chen,
- Abstract要約: Masked Image Modeling (MIM)は、下流タスクに適したスケーラブルな視覚表現を学習する能力のおかげで、自己教師付き学習において大きな注目を集めている。
しかし、画像は本質的に冗長な情報を含んでいるため、画素ベースのMIM再構成プロセスはテクスチャなどの細部に過度に集中し、不要なトレーニング時間を延ばすことになる。
本研究では,MIMの学習過程を高速化するために,ウェーブレット変換を効率的な表現学習のツールとして活用する。
- 参考スコア（独自算出の注目度）: 27.576174611043367
- License:
- Abstract: Masked Image Modeling (MIM) has garnered significant attention in self-supervised learning, thanks to its impressive capacity to learn scalable visual representations tailored for downstream tasks. However, images inherently contain abundant redundant information, leading the pixel-based MIM reconstruction process to focus excessively on finer details such as textures, thus prolonging training times unnecessarily. Addressing this challenge requires a shift towards a compact representation of features during MIM reconstruction. Frequency domain analysis provides a promising avenue for achieving compact image feature representation. In contrast to the commonly used Fourier transform, wavelet transform not only offers frequency information but also preserves spatial characteristics and multi-level features of the image. Additionally, the multi-level decomposition process of wavelet transformation aligns well with the hierarchical architecture of modern neural networks. In this study, we leverage wavelet transform as a tool for efficient representation learning to expedite the training process of MIM. Specifically, we conduct multi-level decomposition of images using wavelet transform, utilizing wavelet coefficients from different levels to construct distinct reconstruction targets representing various frequencies and scales. These reconstruction targets are then integrated into the MIM process, with adjustable weights assigned to prioritize the most crucial information. Extensive experiments demonstrate that our method achieves comparable or superior performance across various downstream tasks while exhibiting higher training efficiency.
- Abstract（参考訳）: Masked Image Modeling (MIM)は、下流タスクに適したスケーラブルな視覚表現を学習する能力のおかげで、自己教師付き学習において大きな注目を集めている。
しかし、画像は本質的に冗長な情報を含んでいるため、画素ベースのMIM再構成プロセスはテクスチャなどの細部に過度に集中し、不要なトレーニング時間を延ばすことになる。
この課題に対処するには、MIM再構築時に特徴のコンパクトな表現に移行する必要がある。
周波数領域解析は、コンパクトな画像特徴表現を実現するための有望な道を提供する。
一般的に使用されるフーリエ変換とは対照的に、ウェーブレット変換は周波数情報を提供するだけでなく、画像の空間的特性やマルチレベル特徴も保持する。
さらに、ウェーブレット変換のマルチレベル分解プロセスは、現代のニューラルネットワークの階層的アーキテクチャとよく一致している。
本研究では,MIMの学習過程を高速化するために,ウェーブレット変換を効率的な表現学習のツールとして活用する。
具体的には、ウェーブレット変換を用いて、異なるレベルのウェーブレット係数を用いて画像の多重レベル分解を行い、様々な周波数とスケールを表す異なる再構成ターゲットを構築する。
これらの再構築ターゲットはMIMプロセスに統合され、最も重要な情報を優先順位付けするために調整可能な重み付けが割り当てられる。
大規模な実験により,本手法は様々な下流タスクにおいて,高い訓練効率を示しながら,同等あるいは優れた性能を達成できることが実証された。
関連論文リスト
- FE-UNet: Frequency Domain Enhanced U-Net with Segment Anything Capability for Versatile Image Segmentation [50.9040167152168]
CNNのコントラスト感度関数を実験的に定量化し,人間の視覚システムと比較した。
本稿ではウェーブレット誘導分光ポーリングモジュール(WSPM)を提案する。
人間の視覚系をさらにエミュレートするために、周波数領域拡張受容野ブロック(FE-RFB)を導入する。
本研究では,SAM2 をバックボーンとし,Hiera-Large を事前学習ブロックとして組み込んだ FE-UNet を開発した。
論文 参考訳（メタデータ） (2025-02-06T07:24:34Z) - Multi-scale Frequency Enhancement Network for Blind Image Deblurring [7.198959621445282]
視覚障害者のためのマルチスケール周波数拡張ネットワーク(MFENet)を提案する。
ぼやけた画像のマルチスケール空間およびチャネル情報をキャプチャするために,深度的に分離可能な畳み込みに基づくマルチスケール特徴抽出モジュール(MS-FE)を導入する。
提案手法は,視覚的品質と客観的評価の両指標において,優れた劣化性能を達成できることを実証する。
論文 参考訳（メタデータ） (2024-11-11T11:49:18Z) - Multi-Scale Representation Learning for Image Restoration with State-Space Model [13.622411683295686]
効率的な画像復元のためのマルチスケール状態空間モデル(MS-Mamba)を提案する。
提案手法は,計算複雑性を低く保ちながら,新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-08-19T16:42:58Z) - Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。
実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
論文 参考訳（メタデータ） (2024-08-01T15:14:10Z) - Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。
本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
論文 参考訳（メタデータ） (2024-05-23T09:13:36Z) - Low-light Image Enhancement via CLIP-Fourier Guided Wavelet Diffusion [28.049668999586583]
本稿では,CLIP-Fourier Guided Wavelet Diffusion(CFWD)による新しい低照度画像強調手法を提案する。
CFWDは、複数のウェーブレット変換によって生成される周波数領域空間におけるマルチモーダル視覚言語情報を活用して、拡張プロセスの導出を行う。
提案手法は既存の最先端手法よりも優れ,画像品質と雑音抑制の大幅な進歩を実現している。
論文 参考訳（メタデータ） (2024-01-08T10:08:48Z) - Efficient Multi-scale Network with Learnable Discrete Wavelet Transform for Blind Motion Deblurring [25.36888929483233]
そこで本研究では,シングルインプットとマルチアウトプット(SIMO)に基づくマルチスケールネットワークを提案する。
実世界の軌道特性を学習可能なウェーブレット変換モジュールと組み合わせて、ぼやけた画像から鋭い画像へのステップバイステップ遷移の方向連続性と周波数特性に着目した。
論文 参考訳（メタデータ） (2023-12-29T02:59:40Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-04-19T17:59:45Z) - MAT: Mask-Aware Transformer for Large Hole Image Inpainting [79.67039090195527]
本稿では, 変圧器と畳み込みの利点を統一する, 大穴塗装の新しいモデルを提案する。
実験では、複数のベンチマークデータセット上で、新しいモデルの最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-03-29T06:36:17Z) - Joint Frequency and Image Space Learning for MRI Reconstruction and
Analysis [7.821429746599738]
本稿では、周波数空間データから再構成するための汎用的なビルディングブロックとして、周波数と画像の特徴表現を明示的に組み合わせたニューラルネットワーク層が利用できることを示す。
提案した共同学習方式により、周波数空間に固有のアーティファクトの補正と画像空間表現の操作を両立させ、ネットワークのすべての層でコヒーレントな画像構造を再構築することができる。
論文 参考訳（メタデータ） (2020-07-02T23:54:46Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。