論文の概要: Restore Anything Model via Efficient Degradation Adaptation

• arxiv url: http://arxiv.org/abs/2407.13372v2
• Date: Wed, 18 Dec 2024 16:51:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:24:23.991083
• Title: Restore Anything Model via Efficient Degradation Adaptation
• Title（参考訳）: 効率的な劣化適応による任意のモデルの再保存
• Authors: Bin Ren, Eduard Zamfir, Zongwei Wu, Yawei Li, Yidi Li, Danda Pani Paudel, Radu Timofte, Ming-Hsuan Yang, Nicu Sebe,
• Abstract要約: RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
• 参考スコア（独自算出の注目度）: 129.38475243424563
• License:
• Abstract: With the proliferation of mobile devices, the need for an efficient model to restore any degraded image has become increasingly significant and impactful. Traditional approaches typically involve training dedicated models for each specific degradation, resulting in inefficiency and redundancy. More recent solutions either introduce additional modules to learn visual prompts significantly increasing model size or incorporate cross-modal transfer from large language models trained on vast datasets, adding complexity to the system architecture. In contrast, our approach, termed RAM, takes a unified path that leverages inherent similarities across various degradations to enable both efficient and comprehensive restoration through a joint embedding mechanism without scaling up the model or relying on large multimodal models. Specifically, we examine the sub-latent space of each input, identifying key components and reweighting them in a gated manner. This intrinsic degradation awareness is further combined with contextualized attention in an X-shaped framework, enhancing local-global interactions. Extensive benchmarking in an all-in-one restoration setting confirms RAM's SOTA performance, reducing model complexity by approximately 82% in trainable parameters and 85% in FLOPs. Our code and models will be publicly available.
• Abstract（参考訳）: モバイルデバイスの普及に伴い、劣化したイメージを復元する効率的なモデルの必要性は、ますます重要で影響力のあるものになりつつある。 従来のアプローチでは、特定の劣化ごとに専用のモデルをトレーニングし、非効率性と冗長性をもたらすのが一般的である。 より最近のソリューションでは、視覚的なプロンプトを学習するための追加モジュールを導入するか、巨大なデータセットでトレーニングされた大きな言語モデルからのモダル間転送を組み込むか、システムアーキテクチャに複雑さを追加するかのどちらかだ。 対照的に、我々のアプローチであるRAMは、様々な劣化にまたがる固有の類似性を利用して、モデルをスケールアップしたり、大規模なマルチモーダルモデルに依存することなく、結合埋め込み機構による効率的かつ包括的な復元を可能にする統一的な経路をとっています。 具体的には、各入力のサブラテント空間を調べ、キーコンポーネントを特定し、ゲート方式でそれらを重み付けする。 この本質的な劣化認識は、X字型フレームワークにおける文脈的注意と組み合わせられ、局所的・局所的な相互作用が促進される。 オールインワンのリカバリ環境での大規模なベンチマークでは、RAMのSOTAパフォーマンスが確認され、トレーニング可能なパラメータで約82%、FLOPで約85%のモデル複雑性が削減された。 私たちのコードとモデルは公開されます。

関連論文リスト

• Efficient Degradation-aware Any Image Restoration [83.92870105933679]
  我々は,低ランク体制下での学習者(DaLe)を用いた効率的なオールインワン画像復元システムである textitDaAIR を提案する。 モデルキャパシティを入力劣化に動的に割り当てることにより、総合学習と特定の学習を統合した効率的な復調器を実現する。
  論文  参考訳（メタデータ） (2024-05-24T11:53:27Z)
• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• EfficientMorph: Parameter-Efficient Transformer-Based Architecture for 3D Image Registration [1.741980945827445]
  教師なし3次元画像登録のためのトランスフォーマーベースアーキテクチャであるEfficientMorphを提案する。 航空機をベースとしたアテンション機構を通じて、地域と世界的なアテンションのバランスを最適化する。 カスケードされたグループアテンションによって計算の冗長性を低減し、計算効率を損なうことなく細部をキャプチャする。
  論文  参考訳（メタデータ） (2024-03-16T22:01:55Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Multi-Stage Progressive Image Restoration [167.6852235432918]
  本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。 本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。 MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2021-02-04T18:57:07Z)
• Hierarchical and Efficient Learning for Person Re-Identification [19.172946887940874]
  階層的大域的, 部分的, 回復的特徴を複数の損失結合の監督の下で学習する, 階層的, 効率的なネットワーク(HENet)を提案する。 また,RPE (Random Polygon Erasing) と呼ばれる新しいデータセット拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-05-18T15:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。