論文の概要: Residual Connections Harm Abstract Feature Learning in Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2404.10947v2
• Date: Thu, 20 Jun 2024 20:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 19:26:42.886878
• Title: Residual Connections Harm Abstract Feature Learning in Masked Autoencoders
• Title（参考訳）: マスクオートエンコーダにおける残差接続と抽象的特徴学習
• Authors: Xiao Zhang, Ruoxi Jiang, William Gao, Rebecca Willett, Michael Maire,
• Abstract要約: MAEのVIT-B/16バックボーン内のIDショートカットの変更により、ImageNet上の線形探索精度は67.8%から72.7%に向上した。 我々の設計は、ネットワークのトレーニング容易性に影響を与えることなく、機能抽象化の段階的な開発を促進する。
• 参考スコア（独自算出の注目度）: 22.21222349477351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We demonstrate that adding a weighting factor to decay the strength of identity shortcuts within residual networks substantially improves semantic feature learning in the state-of-the-art self-supervised masked autoencoding (MAE) paradigm. Our modification to the identity shortcuts within a VIT-B/16 backbone of an MAE boosts linear probing accuracy on ImageNet from 67.8% to 72.7%. This significant gap suggests that, while residual connection structure serves an essential role in facilitating gradient propagation, it may have a harmful side effect of reducing capacity for abstract learning by virtue of injecting an echo of shallower representations into deeper layers. We ameliorate this downside via a fixed formula for monotonically decreasing the contribution of identity connections as layer depth increases. Our design promotes the gradual development of feature abstractions, without impacting network trainability. Analyzing the representations learned by our modified residual networks, we find correlation between low effective feature rank and downstream task performance.
• Abstract（参考訳）: 残差ネットワーク内のアイデンティティショートカットの強度を減衰させる重み付け係数を加えることで、最先端の自己教師付きマスク自動符号化(MAE)パラダイムにおける意味的特徴学習が大幅に向上することを示した。 MAEのVIT-B/16バックボーン内のIDショートカットの変更により、ImageNet上の線形探索精度は67.8%から72.7%に向上する。 この大きなギャップは、残差接続構造が勾配伝播を促進する上で重要な役割を担っているが、より深い層に浅い表現のエコーを注入することにより、抽象学習の能力を低下させる有害な副作用があることを示唆している。 層深さが増加するにつれてアイデンティティ接続の寄与を単調に減少させる定式化により、この欠点を緩和する。 我々の設計は、ネットワークのトレーニング容易性に影響を与えることなく、機能抽象化の段階的な開発を促進する。 修正された残差ネットワークで学習した表現を分析し、低効率な特徴ランクと下流タスク性能の相関関係を見出した。

関連論文リスト

• Masked Autoencoders Are Effective Tokenizers for Diffusion Models [56.08109308294133]
  MAETokは自己エンコーダであり、再構築の忠実さを維持しながら意味的にリッチな潜在空間を学習する。 MaETokは1.69のgFIDで76倍高速トレーニングが可能で、512x512世代で31倍高い推論スループットを実現している。
  論文  参考訳（メタデータ） (2025-02-05T18:42:04Z)
• LoyalDiffusion: A Diffusion Model Guarding Against Data Replication [6.818344768093927]
  拡散モデルは、特にトレーニングデータが機密情報を含む場合、トレーニングデータを複製することができる。 画像品質に欠かせない接続に情報転送ブロックを組み込んだ複製対応U-Netアーキテクチャを提案する。 実験により、LoyalDiffusionは、画像の品質を維持しながら48.63%の複製を減少させる、最先端の複製緩和法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-02T04:41:30Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• An Enhanced Encoder-Decoder Network Architecture for Reducing Information Loss in Image Semantic Segmentation [6.596361762662328]
  残差接続により拡張された革新的なエンコーダ・デコーダネットワーク構造を導入する。 提案手法では,様々な画像スケールにまたがる複雑な情報保存を効果的に行うために,マルチレジデント接続戦略を採用している。 ネットワークトレーニングの収束率を高め,サンプルの不均衡問題を緩和するために,改良されたクロスエントロピー損失関数を考案した。
  論文  参考訳（メタデータ） (2024-05-26T05:15:53Z)
• Effect of Choosing Loss Function when Using T-batching for Representation Learning on Dynamic Networks [0.0]
  Tバッチは動的ネットワークモデルをトレーニングする上で貴重なテクニックである。 t-batchingで使用する訓練損失関数の制限について検討した。 これらの問題を克服する2つの代替損失関数を提案し、結果としてトレーニング性能が向上する。
  論文  参考訳（メタデータ） (2023-08-13T23:34:36Z)
• Sharpness-Aware Minimization Leads to Low-Rank Features [49.64754316927016]
  シャープネス認識最小化(SAM)は、ニューラルネットワークのトレーニング損失を最小限に抑える手法である。 SAMはニューラルネットワークの異なる層で発生する特徴ランクを減少させる。 我々はこの効果を理論的に確認し、深層ネットワークでも起こりうることを確認する。
  論文  参考訳（メタデータ） (2023-05-25T17:46:53Z)
• Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
  畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。 残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。 我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
  論文  参考訳（メタデータ） (2022-01-28T09:18:43Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)
• Non-Linearities Improve OrigiNet based on Active Imaging for Micro Expression Recognition [8.112868317921853]
  ビデオの表現領域におけるアクティブな変化を1フレームに分離するために,能動画像の概念を導入する。 ビデオ中のマイクロ表現の重要な特徴を効率的に学習する,ハイブリッド局所受容場に基づく拡張現実ネットワーク(OrigiNet)を提案する。
  論文  参考訳（メタデータ） (2020-05-16T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。