論文の概要: Residual Connections Harm Generative Representation Learning

• arxiv url: http://arxiv.org/abs/2404.10947v3
• Date: Sat, 12 Oct 2024 01:49:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:02:27.362633
• Title: Residual Connections Harm Generative Representation Learning
• Title（参考訳）: 残差接続が生成表現学習を損なう
• Authors: Xiao Zhang, Ruoxi Jiang, William Gao, Rebecca Willett, Michael Maire,
• Abstract要約: 残差ネットワークにおけるアイデンティティショートカットの影響を低減するために重み付け係数を導入することで、意味的特徴学習が大幅に向上することを示す。 VIT-B/16バックボーンを持つMAEのイメージネット精度は67.8%から72.7%に向上した。
• 参考スコア（独自算出の注目度）: 22.21222349477351
• License:
• Abstract: We show that introducing a weighting factor to reduce the influence of identity shortcuts in residual networks significantly enhances semantic feature learning in generative representation learning frameworks, such as masked autoencoders (MAEs) and diffusion models. Our modification improves linear probing accuracy for both, notably increasing ImageNet accuracy from 67.8% to 72.7% for MAEs with a VIT-B/16 backbone, while also boosting generation quality for diffusion models. This significant gap suggests that, while residual connection structure serves an essential role in facilitating gradient propagation, it may have a harmful side effect of reducing capacity for abstract learning by virtue of injecting an echo of shallower representations into deeper layers. We ameliorate this downside via a fixed formula for monotonically decreasing the contribution of identity connections as layer depth increases. Our design promotes the gradual development of feature abstractions, without impacting network trainability. Analyzing the representations learned by our modified residual networks, we find correlation between low effective feature rank and downstream task performance.
• Abstract（参考訳）: マスク付きオートエンコーダ(MAE)や拡散モデルなどの生成的表現学習フレームワークにおいて,残差ネットワークにおけるアイデンティティショートカットの影響を緩和する重み付け因子を導入することにより,意味的特徴学習が著しく向上することを示す。 VIT-B/16バックボーンを持つMAEのイメージネット精度は67.8%から72.7%に向上し、拡散モデルの生成品質も向上した。 この大きなギャップは、残差接続構造が勾配伝播を促進する上で重要な役割を担っているが、より深い層に浅い表現のエコーを注入することにより、抽象学習の能力を低下させる有害な副作用があることを示唆している。 層深さが増加するにつれてアイデンティティ接続の寄与を単調に減少させる定式化により、この欠点を緩和する。 我々の設計は、ネットワークのトレーニング容易性に影響を与えることなく、機能抽象化の段階的な開発を促進する。 修正された残差ネットワークで学習した表現を分析し、低効率な特徴ランクと下流タスク性能の相関関係を見出した。

関連論文リスト

• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• An Enhanced Encoder-Decoder Network Architecture for Reducing Information Loss in Image Semantic Segmentation [6.596361762662328]
  残差接続により拡張された革新的なエンコーダ・デコーダネットワーク構造を導入する。 提案手法では,様々な画像スケールにまたがる複雑な情報保存を効果的に行うために,マルチレジデント接続戦略を採用している。 ネットワークトレーニングの収束率を高め,サンプルの不均衡問題を緩和するために,改良されたクロスエントロピー損失関数を考案した。
  論文  参考訳（メタデータ） (2024-05-26T05:15:53Z)
• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Effect of Choosing Loss Function when Using T-batching for Representation Learning on Dynamic Networks [0.0]
  Tバッチは動的ネットワークモデルをトレーニングする上で貴重なテクニックである。 t-batchingで使用する訓練損失関数の制限について検討した。 これらの問題を克服する2つの代替損失関数を提案し、結果としてトレーニング性能が向上する。
  論文  参考訳（メタデータ） (2023-08-13T23:34:36Z)
• Unlocking the Potential of Federated Learning for Deeper Models [24.875271131226707]
  フェデレートラーニング(FL)は、分散機械学習の新しいパラダイムであり、グローバルモデルを複数のクライアントでトレーニングできるようにする。 本稿では,より広義のモデルを用いたり,受容領域を縮小したりするなど,ばらつきの低減に基づくいくつかの技術ガイドラインを提案する。 これらの手法はより深いモデルにおけるFLの精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-06-05T08:45:44Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
  畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。 残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。 我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
  論文  参考訳（メタデータ） (2022-01-28T09:18:43Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)
• Non-Linearities Improve OrigiNet based on Active Imaging for Micro Expression Recognition [8.112868317921853]
  ビデオの表現領域におけるアクティブな変化を1フレームに分離するために,能動画像の概念を導入する。 ビデオ中のマイクロ表現の重要な特徴を効率的に学習する,ハイブリッド局所受容場に基づく拡張現実ネットワーク(OrigiNet)を提案する。
  論文  参考訳（メタデータ） (2020-05-16T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。