論文の概要: RobustFormer: Noise-Robust Pre-training for images and videos

• arxiv url: http://arxiv.org/abs/2411.13040v1
• Date: Wed, 20 Nov 2024 05:10:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:15.349638
• Title: RobustFormer: Noise-Robust Pre-training for images and videos
• Title（参考訳）: RobustFormer: 画像とビデオのためのノイズキャンバス事前トレーニング
• Authors: Ashish Bastola, Nishant Luitel, Hao Wang, Danda Pani Paudel, Roshani Poudel, Abolfazl Razi,
• Abstract要約: 本稿では、画像とビデオの両方でノイズロスト事前学習を可能にするRobustFormerを提案する。 提案手法は,ビデオ入力とマスク付き事前学習に適合する最初のDWT方式である。 実験の結果,MAEをベースとした事前学習により,iDWTのステップを回避でき,計算処理を大幅に削減できることがわかった。
• 参考スコア（独自算出の注目度）: 16.124879193111482
• License:
• Abstract: While deep learning models are powerful tools that revolutionized many areas, they are also vulnerable to noise as they rely heavily on learning patterns and features from the exact details of the clean data. Transformers, which have become the backbone of modern vision models, are no exception. Current Discrete Wavelet Transforms (DWT) based methods do not benefit from masked autoencoder (MAE) pre-training since the inverse DWT (iDWT) introduced in these approaches is computationally inefficient and lacks compatibility with video inputs in transformer architectures. In this work, we present RobustFormer, a method that overcomes these limitations by enabling noise-robust pre-training for both images and videos; improving the efficiency of DWT-based methods by removing the need for computationally iDWT steps and simplifying the attention mechanism. To our knowledge, the proposed method is the first DWT-based method compatible with video inputs and masked pre-training. Our experiments show that MAE-based pre-training allows us to bypass the iDWT step, greatly reducing computation. Through extensive tests on benchmark datasets, RobustFormer achieves state-of-the-art results for both image and video tasks.
• Abstract（参考訳）: ディープラーニングモデルは、多くの領域に革命をもたらした強力なツールですが、クリーンデータの正確な詳細から学習パターンや機能に大きく依存するため、ノイズにも弱いのです。 現代のビジョンモデルのバックボーンとなったトランスフォーマーも例外ではない。 現在の離散ウェーブレット変換(DWT)に基づく手法は、これらの手法で導入された逆DWT(iDWT)は計算的に非効率であり、トランスフォーマーアーキテクチャにおけるビデオ入力との互換性に欠けるため、マスク付きオートエンコーダ(MAE)事前学習の恩恵を受けない。 本稿では,画像とビデオの両方においてノイズロスト事前学習を可能にすることにより,これらの制約を克服するRobostFormerを提案する。 我々の知る限り,提案手法はビデオ入力とマスク付き事前学習に適合する最初のDWT方式である。 実験の結果,MAEをベースとした事前学習により,iDWTのステップを回避でき,計算処理を大幅に削減できることがわかった。 ベンチマークデータセットの広範なテストを通じて、RobustFormerは、イメージタスクとビデオタスクの両方の最先端の結果を達成する。

関連論文リスト

• AM Flow: Adapters for Temporal Processing in Action Recognition [6.67921694218089]
  textitAttention Map (AM) Flowは、入力されたビデオフレーム内の動きに関連するピクセルを識別する手法である。 AMフローは空間的および時間的処理の分離を可能にし、時間的処理の組合せよりも改善された結果を提供する。 我々は、Kineetics-400、Something v2、Toyota Smarthomeのデータセットについて実験を行い、最先端または同等の結果を示す。
  論文  参考訳（メタデータ） (2024-11-04T13:07:22Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Refining Pre-Trained Motion Models [56.18044168821188]
  我々は、自己教師付きトレーニングによる最先端の教師付きモデルの改善に挑戦する。 実世界の未学習ビデオから「クリーン」な訓練信号を得ることに重点を置いている。 本研究では,本手法が実動画における完全教師付き手法よりも信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2024-01-01T18:59:33Z)
• On-the-Fly Guidance Training for Medical Image Registration [14.309599960641242]
  本研究は,既存の学習ベース画像登録モデルを改善するための新しいトレーニングフレームワークであるOn-the-Fly Guidance(OFG)を紹介する。 本手法では,ラベル付きデータを必要としない登録モデルをトレーニングするための教師付き手法を提案する。 提案手法は,複数のベンチマークデータセットおよび先行モデルでテストされ,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-08-29T11:12:53Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
  ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。 我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
  論文  参考訳（メタデータ） (2021-06-17T02:30:26Z)
• PGT: A Progressive Method for Training Models on Long Videos [45.935259079953255]
  メインストリーム方式は、生のビデオをクリップに分割し、不完全な時間的情報の流れをもたらす。 長文を扱う自然言語処理技術に着想を得て,マルコフ特性を満たすシリアルフラグメントとしてビデオを扱うことを提案する。 さまざまなモデルやデータセットで大幅なパフォーマンス改善をもたらすことを実証的に実証しています。
  論文  参考訳（メタデータ） (2021-03-21T06:15:20Z)
• Pre-Trained Image Processing Transformer [95.93031793337613]
  我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。 本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。 IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
  論文  参考訳（メタデータ） (2020-12-01T09:42:46Z)
• Stochastic Attention Head Removal: A simple and effective method for improving Transformer Based ASR Models [40.991809705930955]
  トレーニング中に無作為にアテンションヘッドを取り除き、全てのアテンションヘッドをテスト時に保持し、最終モデルは異なるアーキテクチャを持つモデルのアンサンブルである。 提案手法は,ウォールストリートジャーナル,AISHELL,Switchboard,AMIデータセットにおいて,強力なベースラインよりも一貫したパフォーマンス向上を実現する。
  論文  参考訳（メタデータ） (2020-11-08T15:41:03Z)
• Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
  ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。 本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。 その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-04T08:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。