論文の概要: Cross-Stitched Multi-task Dual Recursive Networks for Unified Single Image Deraining and Desnowing

• arxiv url: http://arxiv.org/abs/2211.08290v1
• Date: Tue, 15 Nov 2022 16:44:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 15:22:18.664803
• Title: Cross-Stitched Multi-task Dual Recursive Networks for Unified Single Image Deraining and Desnowing
• Title（参考訳）: 統一された単一画像参照と認識のためのクロスストッチマルチタスク二重再帰ネットワーク
• Authors: Sotiris Karavarsamis, Alexandros Doumanoglou, Konstantinos Konstantoudakis, Dimitrios Zarpalas
• Abstract要約: 本稿では,統合デライニングとデリーディングを対象とするマルチタスク統合デュアル再帰ネットワーク(CMUDRN)モデルを提案する。 提案モデルは,2つの別々のDual Recursive Network(DRN)モデル間でマルチタスク学習を可能にするクロススティッチユニットを利用する。
• 参考スコア（独自算出の注目度）: 70.24489870383027
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present the Cross-stitched Multi-task Unified Dual Recursive Network (CMUDRN) model targeting the task of unified deraining and desnowing in a multi-task learning setting. This unified model borrows from the basic Dual Recursive Network (DRN) architecture developed by Cai et al. The proposed model makes use of cross-stitch units that enable multi-task learning across two separate DRN models, each tasked for single image deraining and desnowing, respectively. By fixing cross-stitch units at several layers of basic task-specific DRN networks, we perform multi-task learning over the two separate DRN models. To enable blind image restoration, on top of these structures we employ a simple neural fusion scheme which merges the output of each DRN. The separate task-specific DRN models and the fusion scheme are simultaneously trained by enforcing local and global supervision. Local supervision is applied on the two DRN submodules, and global supervision is applied on the data fusion submodule of the proposed model. Consequently, we both enable feature sharing across task-specific DRN models and control the image restoration behavior of the DRN submodules. An ablation study shows the strength of the hypothesized CMUDRN model, and experiments indicate that its performance is comparable or better than baseline DRN models on the single image deraining and desnowing tasks. Moreover, CMUDRN enables blind image restoration for the two underlying image restoration tasks, by unifying task-specific image restoration pipelines via a naive parametric fusion scheme. The CMUDRN implementation is available at https://github.com/VCL3D/CMUDRN.
• Abstract（参考訳）: 本稿では,マルチタスク学習環境において,統一的デレーニングとデズナリングのタスクを対象とする,マルチタスク統合型二重再帰ネットワーク(cmudrn)モデルを提案する。 この統一モデルはcaiらが開発したdrn(basic dual recursive network)アーキテクチャを借用している。 提案モデルでは,2つの異なるDRNモデルにまたがるマルチタスク学習が可能なクロススティッチ・ユニットを用いて,それぞれ1つの画像のデライニングとデリーディングを行う。 タスク固有のDRNネットワークの複数の層にクロススティッチユニットを固定することにより、2つの異なるDRNモデルに対してマルチタスク学習を行う。 ブラインド画像の復元を可能にするため、これらの構造の上に、各DRNの出力をマージする単純な神経融合スキームを用いる。 個別のタスク固有のDRNモデルと融合スキームは、局所的およびグローバルな監督を強制することによって同時に訓練される。 局所的監視は2つのdrmサブモジュールに適用され、グローバル監視は提案されたモデルのデータ融合サブモジュールに適用される。 その結果、タスク固有のDRNモデル間での機能共有を可能にし、DRNサブモジュールのイメージ復元動作を制御する。 アブレーション研究は仮定cmudrnモデルの強度を示し、実験の結果、その性能は1つの画像参照および認識タスクにおけるdrmモデルと同等かそれ以上であることを示している。 さらに、CMUDRNは、単純パラメトリック融合方式によりタスク固有の画像復元パイプラインを統一することにより、2つの基礎となる画像復元タスクのブラインド画像復元を可能にする。 CMUDRNの実装はhttps://github.com/VCL3D/CMUDRNで公開されている。

関連論文リスト

• Representation Surgery for Multi-Task Model Merging [57.63643005215592]
  マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。 最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。 既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
  論文  参考訳（メタデータ） (2024-02-05T03:39:39Z)
• Multi-task Image Restoration Guided By Robust DINO Features [88.74005987908443]
  DINOv2から抽出したロバストな特徴を利用したマルチタスク画像復元手法であるmboxtextbfDINO-IRを提案する。 まず,DINOV2の浅い特徴を動的に融合するPSF (Pixel-semantic fusion) モジュールを提案する。 これらのモジュールを統一された深層モデルに定式化することにより、モデルトレーニングを制約するために、DINO知覚の対照的な損失を提案する。
  論文  参考訳（メタデータ） (2023-12-04T06:59:55Z)
• MSINet: Twins Contrastive Search of Multi-Scale Interaction for Object ReID [29.13844433114534]
  本稿では,ReIDアーキテクチャ探索のより適切な監視を行うために,新しいTwins Contrastive Mechanism (TCM)を提案する。 TCMは、トレーニングデータと検証データの重複を低減し、現実世界のReIDトレーニングスキームのシミュレーションにおいてNASを支援する。 次にマルチスケールインタラクション(MSI)検索空間を設計し、マルチスケール機能間の合理的なインタラクション操作を探索する。
  論文  参考訳（メタデータ） (2023-03-13T12:39:59Z)
• Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks [58.868899595936476]
  コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。 複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
  論文  参考訳（メタデータ） (2022-07-14T19:16:56Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Single Image Dehazing with An Independent Detail-Recovery Network [117.86146907611054]
  個別のDetail Recovery Network (DRN) を用いた単一画像デハージング手法を提案する。 DRNは、それぞれのローカルブランチとグローバルブランチを通じて、デハズドイメージの詳細を復元することを目的としている。 本手法は, 定量的, 定性的に, 最先端の脱ハージング法より優れる。
  論文  参考訳（メタデータ） (2021-09-22T02:49:43Z)
• One Network to Solve Them All: A Sequential Multi-Task Joint Learning Network Framework for MR Imaging Pipeline [12.684219884940056]
  組み合わせたエンドツーエンドのパイプラインを訓練するために、連続的なマルチタスク共同学習ネットワークモデルが提案される。 提案手法は,再構成とセグメント化の両面から,他のSOTA手法よりも優れた性能を示すMBBデータセット上で検証されている。
  論文  参考訳（メタデータ） (2021-05-14T05:55:27Z)
• MDCN: Multi-scale Dense Cross Network for Image Super-Resolution [35.59973281360541]
  本稿では,より少ないパラメータと少ない実行時間で優れた性能を実現するマルチスケールDense Cross Network (MDCN)を提案する。 MDCNは多層密閉ブロック(MDCB)、階層的特徴蒸留ブロック(HFDB)、動的再構成ブロック(DRB)からなる。
  論文  参考訳（メタデータ） (2020-08-30T03:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。