論文の概要: DenoMAE2.0: Improving Denoising Masked Autoencoders by Classifying Local Patches

• arxiv url: http://arxiv.org/abs/2502.18202v1
• Date: Tue, 25 Feb 2025 13:41:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:22:43.032890
• Title: DenoMAE2.0: Improving Denoising Masked Autoencoders by Classifying Local Patches
• Title（参考訳）: DenoMAE2.0: ローカルパッチの分類によるマスケ自動エンコーダのデノイングの改善
• Authors: Atik Faysal, Mohammad Rostami, Taha Boushine, Reihaneh Gh. Roshan, Huaxia Wang, Nikhil Muralidhar,
• Abstract要約: DenoMAE2.0は、局所的なパッチ分類目標と従来の再構成損失を統合し、表現学習とロバスト性を向上させる。 この二重目的のアプローチは、高いノイズレベルとデータ不足が大きな課題となる無線通信のための半教師付き学習において特に有益である。
• 参考スコア（独自算出の注目度）: 18.14388359413206
• License:
• Abstract: We introduce DenoMAE2.0, an enhanced denoising masked autoencoder that integrates a local patch classification objective alongside traditional reconstruction loss to improve representation learning and robustness. Unlike conventional Masked Autoencoders (MAE), which focus solely on reconstructing missing inputs, DenoMAE2.0 introduces position-aware classification of unmasked patches, enabling the model to capture fine-grained local features while maintaining global coherence. This dual-objective approach is particularly beneficial in semi-supervised learning for wireless communication, where high noise levels and data scarcity pose significant challenges. We conduct extensive experiments on modulation signal classification across a wide range of signal-to-noise ratios (SNRs), from extremely low to moderately high conditions and in a low data regime. Our results demonstrate that DenoMAE2.0 surpasses its predecessor, Deno-MAE, and other baselines in both denoising quality and downstream classification accuracy. DenoMAE2.0 achieves a 1.1% improvement over DenoMAE on our dataset and 11.83%, 16.55% significant improved accuracy gains on the RadioML benchmark, over DenoMAE, for constellation diagram classification of modulation signals.
• Abstract（参考訳）: DenoMAE2.0は、局所的なパッチ分類目標と従来の再構成損失を統合し、表現学習とロバスト性を向上させる。 欠落した入力の再構築のみに焦点を当てた従来のMasked Autoencoders(MAE)とは異なり、DenoMAE2.0では、未一致のパッチの位置認識型分類を導入し、グローバルコヒーレンスを維持しながら、きめ細かい局所的な特徴を捉えることができる。 この二重目的のアプローチは、高いノイズレベルとデータ不足が大きな課題となる無線通信のための半教師付き学習において特に有益である。 信号-雑音比(SNR)の広い範囲にわたる変調信号の分類について、極端に低から中程度の高条件および低データ状態において広範囲に実験を行った。 以上の結果から,DenoMAE2.0は前任のDeno-MAE,その他のベースラインを上回り,品質と下流分類の精度が向上した。 DenoMAE2.0は、私たちのデータセット上のDenoMAEよりも1.1%改善され、11.83%、16.55%が、変調信号の星座図分類のために、RadioMLベンチマークにおいて、DenoMAEよりも精度が大幅に向上した。

関連論文リスト

• DenoMAE: A Multimodal Autoencoder for Denoising Modulation Signals [21.25974800554959]
  デノマエ(DenoMAE)は、プレトレーニング中に変調信号を復調するための新しいフレームワークである。 ノイズを含む複数の入力モダリティを組み込んで、クロスモーダル学習を強化する。 自動変調分類タスクにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2025-01-20T15:23:16Z)
• DenoMamba: A fused state-space model for low-dose CT denoising [6.468495781611433]
  低線量CT(LDCT)は放射線曝露に伴う潜在的なリスクを低くする。 LDCT denoisingは、基礎となる組織信号からの線量減少によって引き起こされるノイズを分離するために、データ駆動画像の事前学習を行うニューラルネットワークモデルに基づいている。 DenoMambaは、状態空間モデリング(SSM)に基づく、医療画像の短距離および長距離コンテキストを効率的にキャプチャする新しいデノナイジング手法である。
  論文  参考訳（メタデータ） (2024-09-19T21:32:07Z)
• Density Adaptive Attention-based Speech Network: Enhancing Feature Understanding for Mental Health Disorders [0.8437187555622164]
  DAAMAudioCNNLSTMとDAAMAudioTransformerを導入する。 両モデルとも、抑うつ検出に音声信号を利用する際の重要な説明可能性と効率は、より信頼性が高く、臨床的に有用な診断ツールへの飛躍を表している。
  論文  参考訳（メタデータ） (2024-08-31T08:50:28Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Feature Attenuation of Defective Representation Can Resolve Incomplete Masking on Anomaly Detection [1.0358639819750703]
  教師なし異常検出(UAD)研究では、計算効率が高くスケーラブルなソリューションを開発する必要がある。 再建・塗り替えのアプローチを再考し、強みと弱みを分析して改善する。 異常再構成の特徴情報を減衰させる2つの層のみを用いるFADeR(Feature Attenuation of Defective Representation)を提案する。
  論文  参考訳（メタデータ） (2024-07-05T15:44:53Z)
• Mesh Denoising Transformer [104.5404564075393]
  Mesh Denoisingは、入力メッシュからノイズを取り除き、特徴構造を保存することを目的としている。 SurfaceFormerはTransformerベースのメッシュDenoisingフレームワークのパイオニアだ。 局所曲面記述子(Local Surface Descriptor)として知られる新しい表現は、局所幾何学的複雑さをキャプチャする。 Denoising Transformerモジュールは、マルチモーダル情報を受信し、効率的なグローバル機能アグリゲーションを実現する。
  論文  参考訳（メタデータ） (2024-05-10T15:27:43Z)
• Weakly supervised segmentation of intracranial aneurysms using a novel 3D focal modulation UNet [0.5106162890866905]
  本稿では,新しい3次元焦点変調UNetであるFocalSegNetを提案する。 UIA検出では偽陽性率は0.21で感度は0.80であった。
  論文  参考訳（メタデータ） (2023-08-06T03:28:08Z)
• Guided Diffusion Model for Adversarial Purification [103.4596751105955]
  敵攻撃は、様々なアルゴリズムやフレームワークでディープニューラルネットワーク(DNN)を妨害する。 本稿では,GDMP ( Guided diffusion model for purification) と呼ばれる新しい精製法を提案する。 様々なデータセットにわたる包括的実験において,提案したGDMPは,敵対的攻撃によって引き起こされた摂動を浅い範囲に減少させることを示した。
  論文  参考訳（メタデータ） (2022-05-30T10:11:15Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。