論文の概要: RCNet: Deep Recurrent Collaborative Network for Multi-View Low-Light Image Enhancement
- arxiv url: http://arxiv.org/abs/2409.04363v1
- Date: Fri, 6 Sep 2024 15:49:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 15:24:36.105285
- Title: RCNet: Deep Recurrent Collaborative Network for Multi-View Low-Light Image Enhancement
- Title(参考訳): RCNet:マルチビュー低照度画像強調のためのディープリカレントコラボレーティブネットワーク
- Authors: Hao Luo, Baoliang Chen, Lingyu Zhu, Peilin Chen, Shiqi Wang,
- Abstract要約: マルチビュー低照度画像の高精細化について検討する。
Recurrent Collaborative Network (RCNet) に基づく深層多視点化フレームワークを提案する。
実験の結果,我々のRCNetは,他の最先端手法よりも優れていた。
- 参考スコア(独自算出の注目度): 19.751696790765635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene observation from multiple perspectives would bring a more comprehensive visual experience. However, in the context of acquiring multiple views in the dark, the highly correlated views are seriously alienated, making it challenging to improve scene understanding with auxiliary views. Recent single image-based enhancement methods may not be able to provide consistently desirable restoration performance for all views due to the ignorance of potential feature correspondence among different views. To alleviate this issue, we make the first attempt to investigate multi-view low-light image enhancement. First, we construct a new dataset called Multi-View Low-light Triplets (MVLT), including 1,860 pairs of triple images with large illumination ranges and wide noise distribution. Each triplet is equipped with three different viewpoints towards the same scene. Second, we propose a deep multi-view enhancement framework based on the Recurrent Collaborative Network (RCNet). Specifically, in order to benefit from similar texture correspondence across different views, we design the recurrent feature enhancement, alignment and fusion (ReEAF) module, in which intra-view feature enhancement (Intra-view EN) followed by inter-view feature alignment and fusion (Inter-view AF) is performed to model the intra-view and inter-view feature propagation sequentially via multi-view collaboration. In addition, two different modules from enhancement to alignment (E2A) and from alignment to enhancement (A2E) are developed to enable the interactions between Intra-view EN and Inter-view AF, which explicitly utilize attentive feature weighting and sampling for enhancement and alignment, respectively. Experimental results demonstrate that our RCNet significantly outperforms other state-of-the-art methods. All of our dataset, code, and model will be available at https://github.com/hluo29/RCNet.
- Abstract(参考訳): 複数の視点からのシーン観察により、より包括的な視覚体験がもたらされる。
しかし、暗黒界における複数の視点の獲得という文脈では、非常に相関の深い視点が著しく疎外されており、補助的な視点でシーン理解を改善することは困難である。
近年の単一画像ベースエンハンスメント手法は、異なる視点間の潜在的な特徴対応の無知のため、すべてのビューに対して一貫した復元性能を提供できない可能性がある。
この問題を軽減するため,マルチビュー低照度画像の高精細化を初めて検討する。
まず,多視点低照度トリプレット (MVLT) と呼ばれる新しいデータセットを構築した。
各三重奏は、同じシーンに対して3つの異なる視点を備える。
第2に,Recurrent Collaborative Network (RCNet) に基づく多視点強化フレームワークを提案する。
具体的には、異なるビュー間での類似したテクスチャ対応の恩恵を受けるために、ビュー内特徴強調(Intra-view EN)に続いてビュー内特徴強調(Intertra-view EN)を行い、ビュー間特徴強調(Inter-view AF)を行い、ビュー内およびビュー間特徴伝播を連続的にマルチビューコラボレーションを介してモデル化するReEAF(Recurrent Feature enhancement, alignment and fusion)モジュールを設計する。
さらに、強調からアライメント(E2A)、アライメントからアライメントへ(A2E)の2つの異なるモジュールを開発し、イントラビューENとインタービューAFの相互作用を可能にする。
実験の結果,我々のRCNetは,他の最先端手法よりも優れていた。
データセット、コード、モデルはすべてhttps://github.com/hluo29/RCNet.comで公開されます。
関連論文リスト
- SDI-Net: Toward Sufficient Dual-View Interaction for Low-light Stereo Image Enhancement [38.66838623890922]
たいていの低照度画像強調法は、単一の視点からの情報しか考慮しない。
低照度ステレオ画像強調のための2次元2次元対話モデルを提案する。
我々は、注意機構を介して両眼の視線間の相関を完全に活用することを目的とした、CSIM(Cross-View Sufficient Interaction Module)と呼ばれるモジュールを設計する。
論文 参考訳(メタデータ) (2024-08-20T15:17:11Z) - Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。
既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。
これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。
一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
論文 参考訳(メタデータ) (2024-04-11T03:00:00Z) - Consolidating Attention Features for Multi-view Image Editing [126.19731971010475]
本研究では,空間制御に基づく幾何学的操作に着目し,様々な視点にまたがって編集プロセスを統合する手法を提案する。
編集画像の内部クエリ機能に基づいて訓練されたニューラルラジアンス場QNeRFを紹介する。
拡散時間の経過とともにクエリをよりよく統合する、プログレッシブで反復的な手法により、プロセスを洗練します。
論文 参考訳(メタデータ) (2024-02-22T18:50:18Z) - MuVieCAST: Multi-View Consistent Artistic Style Transfer [6.767885381740952]
モジュール型マルチビュー一貫したスタイル転送ネットワークアーキテクチャである MuVieCAST を紹介する。
MuVieCASTはスパースビューと高密度ビューの両方をサポートし、幅広いマルチビューイメージデータセットを扱うのに十分な汎用性を持つ。
論文 参考訳(メタデータ) (2023-12-08T14:01:03Z) - M$^3$Net: Multi-view Encoding, Matching, and Fusion for Few-shot
Fine-grained Action Recognition [80.21796574234287]
M$3$Netは、FS-FGアクション認識のためのマッチングベースのフレームワークである。
textitmulti-view エンコーディング、textitmulti-view matching、textitmulti-view fusion を組み込んで、埋め込みエンコーディング、類似性マッチング、意思決定を容易にする。
説明可能な可視化と実験結果により,M$3$Netの微細な動作の詳細を捉える上での優位性が示された。
論文 参考訳(メタデータ) (2023-08-06T09:15:14Z) - Multi-Spectral Image Stitching via Spatial Graph Reasoning [52.27796682972484]
空間グラフ推論に基づくマルチスペクトル画像縫合法を提案する。
同一のビュー位置から複数スケールの補完機能をノードに埋め込む。
空間的・チャネル的次元に沿った長距離コヒーレンスを導入することにより、画素関係の相補性とチャネル相互依存性は、整列したマルチビュー特徴の再構築に寄与する。
論文 参考訳(メタデータ) (2023-07-31T15:04:52Z) - 3M3D: Multi-view, Multi-path, Multi-representation for 3D Object
Detection [0.5156484100374059]
本稿では,3次元物体検出のためのマルチビュー,マルチパス,マルチ表現3M3Dを提案する。
我々は、パノラマビューと粗いグローバルビューの両方において、シーンの表現を強化するために、マルチビュー機能とクエリ機能の両方を更新する。
ベースライン上でnuScenesベンチマークデータセットのパフォーマンス改善を示す。
論文 参考訳(メタデータ) (2023-02-16T11:28:30Z) - A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。
マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。
我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2022-08-22T03:38:01Z) - VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single
and Multi-view 3D Reconstruction [23.21446438011893]
VPFusionは、3D特徴量の両方を使って高品質な再構築を実現し、3D構造対応コンテキストをキャプチャする。
既存のアプローチでは、RNN、フィーチャープーリング、および多視点融合のために各ビューで独立に計算された注意を使用する。
変換器を用いたペアワイズ・ビュー・アソシエーションの確立により,マルチビュー・フィーチャー・フュージョンが改善された。
論文 参考訳(メタデータ) (2022-03-14T23:30:58Z) - Single-View View Synthesis with Multiplane Images [64.46556656209769]
深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。
本手法は,単一画像入力から直接多面体画像を予測することを学習する。
さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
論文 参考訳(メタデータ) (2020-04-23T17:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。