論文の概要: Adaptive Dropout: Unleashing Dropout across Layers for Generalizable Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2506.12738v1
• Date: Sun, 15 Jun 2025 06:21:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.79414
• Title: Adaptive Dropout: Unleashing Dropout across Layers for Generalizable Image Super-Resolution
• Title（参考訳）: Adaptive Dropout: 一般化可能な画像超解法のためのレイヤ横断のドロップアウト
• Authors: Hang Xu, Wei Yu, Jiangtong Tan, Zhen Zou, Feng Zhao,
• Abstract要約: Blind Super-Resolution (blind SR) は、未知の劣化を伴うモデルの一般化能力を高めることを目的としている。 特徴の正規化による一般化を促進するドロップアウトにインスパイアされた従来手法は、ブラインドSRにおいて有望な結果を示した。 本稿では,ブラインドSRモデルの新たな正規化手法であるAdaptive Dropoutを提案する。
• 参考スコア（独自算出の注目度）: 30.395464332809052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Blind Super-Resolution (blind SR) aims to enhance the model's generalization ability with unknown degradation, yet it still encounters severe overfitting issues. Some previous methods inspired by dropout, which enhances generalization by regularizing features, have shown promising results in blind SR. Nevertheless, these methods focus solely on regularizing features before the final layer and overlook the need for generalization in features at intermediate layers. Without explicit regularization of features at intermediate layers, the blind SR network struggles to obtain well-generalized feature representations. However, the key challenge is that directly applying dropout to intermediate layers leads to a significant performance drop, which we attribute to the inconsistency in training-testing and across layers it introduced. Therefore, we propose Adaptive Dropout, a new regularization method for blind SR models, which mitigates the inconsistency and facilitates application across intermediate layers of networks. Specifically, for training-testing inconsistency, we re-design the form of dropout and integrate the features before and after dropout adaptively. For inconsistency in generalization requirements across different layers, we innovatively design an adaptive training strategy to strengthen feature propagation by layer-wise annealing. Experimental results show that our method outperforms all past regularization methods on both synthetic and real-world benchmark datasets, also highly effective in other image restoration tasks. Code is available at \href{https://github.com/xuhang07/Adpative-Dropout}{https://github.com/xuhang07/Adpative-Dropout}.
• Abstract（参考訳）: ブラインド・スーパー・リゾリューション (Blind Super-Resolution, SR) は、未知の劣化を伴うモデルの一般化能力を高めることを目的としている。 特徴の正規化による一般化を促進するドロップアウトにインスパイアされたいくつかの従来の手法は、ブラインドSRにおいて有望な結果を示している。 しかしながら、これらの手法は最終層よりも前の機能を正規化することだけに重点を置いており、中間層における機能の一般化の必要性を見落としている。 中間層における特徴の明示的な正規化がなければ、ブラインドSRネットワークはよく一般化された特徴表現を得るのに苦労する。 しかし、重要な課題は、中間層に直接ドロップアウトを適用するとパフォーマンスが大幅に低下することです。 そこで我々は,不整合を緩和し,ネットワークの中間層にまたがる適用を容易にする,ブラインドSRモデルの新たな正規化手法であるAdaptive Dropoutを提案する。 具体的には、トレーニングテストの不整合性について、ドロップアウトの形式を再設計し、ドロップアウト前後の機能を適応的に統合する。 異なる層にまたがる一般化要求の不整合に対して,我々は,層ワイドアニールによる特徴伝播を強化するための適応的トレーニング戦略を革新的に設計する。 実験結果から,提案手法は,合成および実世界のベンチマークデータセットにおいて過去の正則化手法よりも優れており,他の画像復元作業にも有効であることが示唆された。 コードは \href{https://github.com/xuhang07/Adpative-Dropout}{https://github.com/xuhang07/Adpative-Dropout} で入手できる。

関連論文リスト

• A Layer Selection Approach to Test Time Adaptation [0.2968738145616401]
  テスト時間適応(TTA)は、推論中に事前訓練されたモデルを新しいドメインに適応させることによって、分散シフトの問題に対処する。 提案するGALAは,TTA中に最も有益な更新を行うための新しいレイヤ選択基準である。
  論文  参考訳（メタデータ） (2024-04-04T19:55:11Z)
• Vanishing Feature: Diagnosing Model Merging and Beyond [1.1510009152620668]
  結合モデルによる伝搬中に入力誘起特徴が減少する「消滅特徴」現象を同定する。 既存の正規化戦略は、消滅する特徴問題を的確に標的にすることで強化できることを示す。 初期層機能の保存に重点を置いたPFM(Preserve-First Merging')戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-05T17:06:26Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Panini-Net: GAN Prior Based Degradation-Aware Feature Interpolation for Face Restoration [4.244692655670362]
  Panini-Netは、顔修復のための劣化認識機能ネットワークである。 抽象表現を学び、様々な劣化を区別する。 マルチ劣化顔復元と超解像のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-16T07:41:07Z)
• PLACE dropout: A Progressive Layer-wise and Channel-wise Dropout for Domain Generalization [29.824723021053565]
  ドメイン一般化(DG)は、複数の観測されたソースドメインからジェネリックモデルを学ぶことを目的としている。 DGの最大の課題は、ソースとターゲットドメイン間のドメインギャップのため、このモデルが必然的に過度にオーバーフィットする問題に直面していることだ。 そこで我々は,DGのための新しいレイヤワイド・チャネルワイド・ドロップアウトを開発し,各レイヤをランダムに選択し,そのチャネルをランダムに選択してドロップアウトを行う。
  論文  参考訳（メタデータ） (2021-12-07T13:23:52Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。