論文の概要: PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Aligment
- arxiv url: http://arxiv.org/abs/2403.10376v1
- Date: Fri, 15 Mar 2024 15:05:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 16:32:11.768117
- Title: PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Aligment
- Title(参考訳): PASTA: フレキシブルかつ高能率なHDRイメージングを目指して : 時空間アグリゲーションの進歩
- Authors: Xiaoning Liu, Ao Li, Zongwei Wu, Yapeng Du, Le Zhang, Yulun Zhang, Radu Timofte, Ce Zhu,
- Abstract要約: PASTAは、HDRデゴスティングのためのプログレッシブアグリゲーションアグリゲーション・時空間アライメントフレームワークである。
提案手法は,特徴分散中の階層的表現を活用することにより,有効性と効率性を実現する。
実験結果から,従来のSOTA法よりもPASTAの方が視覚的品質と性能の両方で優れていることが示された。
- 参考スコア(独自算出の注目度): 91.38256332633544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Leveraging Transformer attention has led to great advancements in HDR deghosting. However, the intricate nature of self-attention introduces practical challenges, as existing state-of-the-art methods often demand high-end GPUs or exhibit slow inference speeds, especially for high-resolution images like 2K. Striking an optimal balance between performance and latency remains a critical concern. In response, this work presents PASTA, a novel Progressively Aggregated Spatio-Temporal Alignment framework for HDR deghosting. Our approach achieves effectiveness and efficiency by harnessing hierarchical representation during feature distanglement. Through the utilization of diverse granularities within the hierarchical structure, our method substantially boosts computational speed and optimizes the HDR imaging workflow. In addition, we explore within-scale feature modeling with local and global attention, gradually merging and refining them in a coarse-to-fine fashion. Experimental results showcase PASTA's superiority over current SOTA methods in both visual quality and performance metrics, accompanied by a substantial 3-fold (x3) increase in inference speed.
- Abstract(参考訳): トランスフォーマーの注目の活用は、HDRデゴーストの大幅な進歩につながった。
しかし、特に2Kのような高解像度画像の場合、既存の最先端の手法ではハイエンドGPUを要求されるか、推論速度が遅いため、自己注意の複雑な性質は現実的な課題をもたらす。
パフォーマンスとレイテンシの最適なバランスを取ることは、依然として重要な問題です。
これに対し,本研究は,HDRデゴスティングのためのプログレッシブ・アグリゲーション・スパノラティカルアライメント・フレームワークであるPASTAを提示する。
提案手法は,特徴分散中の階層的表現を活用することにより,有効性と効率性を実現する。
階層構造における多様な粒度の利用により,計算速度を大幅に向上し,HDR画像のワークフローを最適化する。
さらに,局所的,世界的注目を集める大規模特徴モデリングについても検討し,徐々に融合し,より粗い方法で精錬する。
実験結果から,従来のSOTA法よりも3倍(x3)の推算速度が向上し,視覚的品質と性能の両指標がPASTAの優位性を示した。
関連論文リスト
- Improving Bracket Image Restoration and Enhancement with Flow-guided Alignment and Enhanced Feature Aggregation [32.69740459810521]
フローガイド特徴アライメントモジュール(FFAM)と拡張特徴アグリゲーションモジュール(EFAM)による多重露光とアグリゲーションを改善するIREANetを提案する。
実験により,提案したIREANetは従来の手法と比較して最先端性能を示した。
論文 参考訳(メタデータ) (2024-04-16T07:46:55Z) - Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
論文 参考訳(メタデータ) (2024-03-12T05:06:07Z) - Gyroscope-Assisted Motion Deblurring Network [11.404195533660717]
本稿では、慣性計測ユニット(IMU)データを用いて、動きのぼかし画像の合成と復元を行う枠組みを提案する。
このフレームワークは、3重項生成のトレーニング戦略と、ぼやけた画像復元のためのジャイロスコープ支援モーションデブロアリング(GAMD)ネットワークを含む。
論文 参考訳(メタデータ) (2024-02-10T01:30:24Z) - fMPI: Fast Novel View Synthesis in the Wild with Layered Scene
Representations [9.75588035624177]
新規ビュー合成法(NVS)における2つの新しい入力処理パラダイムを提案する。
私たちのアプローチは、従来のパイプラインの2つの最も時間を要する側面を特定し、緩和します。
提案するパラダイムは,公開ベンチマークの最先端性を実現するNVS手法の設計を可能にすることを実証する。
論文 参考訳(メタデータ) (2023-12-26T16:24:08Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳(メタデータ) (2023-12-12T06:07:21Z) - RealLiFe: Real-Time Light Field Reconstruction via Hierarchical Sparse
Gradient Descent [23.4659443904092]
EffLiFeは、スパースビュー画像から高品質な光場をリアルタイムで生成する新しい光場最適化手法である。
本手法は,最先端のオフライン手法よりも平均100倍高速な視覚的品質を実現する。
論文 参考訳(メタデータ) (2023-07-06T14:31:01Z) - Scale-aware Two-stage High Dynamic Range Imaging [13.587403084724015]
本稿では,高品質なゴーストフリー画像合成を実現するため,スケールアウェアな2段階ハイレンジイメージングフレームワーク(ST)を提案する。
具体的には,機能アライメントと2段階融合からなるフレームワークについて述べる。
特徴融合の第1段階では,ゴーストアーティファクトの少ない予備的な結果が得られる。
第2段階では,提案したSTの有効性を,速度と品質の観点から検証する。
論文 参考訳(メタデータ) (2023-03-12T05:17:24Z) - PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene
Reconstruction from Blurry Images [75.87721926918874]
PDRF(Progressive Deblurring Radiance Field)について報告する。
PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。
PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
論文 参考訳(メタデータ) (2022-08-17T03:42:29Z) - PAN: Towards Fast Action Recognition via Learning Persistence of
Appearance [60.75488333935592]
最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。
本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。
我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。
光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
論文 参考訳(メタデータ) (2020-08-08T07:09:54Z) - Single-Image HDR Reconstruction by Learning to Reverse the Camera
Pipeline [100.5353614588565]
本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。
我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。
提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-04-02T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。