論文の概要: PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Alignment
- arxiv url: http://arxiv.org/abs/2403.10376v2
- Date: Tue, 9 Apr 2024 09:52:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 19:17:55.318912
- Title: PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Alignment
- Title(参考訳): PASTA: フレキシブルかつ高能率なHDRイメージングを目指して : 時空間アライメントの漸進的集積
- Authors: Xiaoning Liu, Ao Li, Zongwei Wu, Yapeng Du, Le Zhang, Yulun Zhang, Radu Timofte, Ce Zhu,
- Abstract要約: PASTAは、HDRデゴスティングのためのプログレッシブアグリゲーションアグリゲーション・時空間アライメントフレームワークである。
提案手法は,特徴分散中の階層的表現を活用することにより,有効性と効率性を実現する。
実験結果から,従来のSOTA法よりもPASTAの方が視覚的品質と性能の両方で優れていることが示された。
- 参考スコア(独自算出の注目度): 91.38256332633544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Leveraging Transformer attention has led to great advancements in HDR deghosting. However, the intricate nature of self-attention introduces practical challenges, as existing state-of-the-art methods often demand high-end GPUs or exhibit slow inference speeds, especially for high-resolution images like 2K. Striking an optimal balance between performance and latency remains a critical concern. In response, this work presents PASTA, a novel Progressively Aggregated Spatio-Temporal Alignment framework for HDR deghosting. Our approach achieves effectiveness and efficiency by harnessing hierarchical representation during feature distanglement. Through the utilization of diverse granularities within the hierarchical structure, our method substantially boosts computational speed and optimizes the HDR imaging workflow. In addition, we explore within-scale feature modeling with local and global attention, gradually merging and refining them in a coarse-to-fine fashion. Experimental results showcase PASTA's superiority over current SOTA methods in both visual quality and performance metrics, accompanied by a substantial 3-fold (x3) increase in inference speed.
- Abstract(参考訳): トランスフォーマーの注目の活用は、HDRデゴーストの大幅な進歩につながった。
しかし、特に2Kのような高解像度画像の場合、既存の最先端の手法ではハイエンドGPUを要求されるか、推論速度が遅いため、自己注意の複雑な性質は現実的な課題をもたらす。
パフォーマンスとレイテンシの最適なバランスを取ることは、依然として重要な問題です。
これに対し,本研究は,HDRデゴスティングのためのプログレッシブ・アグリゲーション・スパノラティカルアライメント・フレームワークであるPASTAを提示する。
提案手法は,特徴分散中の階層的表現を活用することにより,有効性と効率性を実現する。
階層構造における多様な粒度の利用により,計算速度を大幅に向上し,HDR画像のワークフローを最適化する。
さらに,局所的,世界的注目を集める大規模特徴モデリングについても検討し,徐々に融合し,より粗い方法で精錬する。
実験結果から,従来のSOTA法よりも3倍(x3)の推算速度が向上し,視覚的品質と性能の両指標がPASTAの優位性を示した。
関連論文リスト
- HDRGS: High Dynamic Range Gaussian Splatting [19.119572715951172]
高ダイナミックレンジ(GS)法は輝度によって色次元を向上し、トーンマッピングに非対称グリッドを使用する。
本手法は, 合成シナリオと実世界のシナリオの両方において, 現在の最先端技術を超えている。
論文 参考訳(メタデータ) (2024-08-13T00:32:36Z) - FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。
私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
論文 参考訳(メタデータ) (2024-06-01T17:29:29Z) - Improving Bracket Image Restoration and Enhancement with Flow-guided Alignment and Enhanced Feature Aggregation [32.69740459810521]
フローガイド特徴アライメントモジュール(FFAM)と拡張特徴アグリゲーションモジュール(EFAM)による多重露光とアグリゲーションを改善するIREANetを提案する。
実験により,提案したIREANetは従来の手法と比較して最先端性能を示した。
論文 参考訳(メタデータ) (2024-04-16T07:46:55Z) - Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
論文 参考訳(メタデータ) (2024-03-12T05:06:07Z) - Gyroscope-Assisted Motion Deblurring Network [11.404195533660717]
本稿では、慣性計測ユニット(IMU)データを用いて、動きのぼかし画像の合成と復元を行う枠組みを提案する。
このフレームワークは、3重項生成のトレーニング戦略と、ぼやけた画像復元のためのジャイロスコープ支援モーションデブロアリング(GAMD)ネットワークを含む。
論文 参考訳(メタデータ) (2024-02-10T01:30:24Z) - ToddlerDiffusion: Interactive Structured Image Generation with Cascaded Schrödinger Bridge [63.00793292863]
ToddlerDiffusionは、RGB画像生成の複雑なタスクを、よりシンプルで解釈可能なステージに分解するための新しいアプローチである。
提案手法はToddler Diffusionと呼ばれ,それぞれが中間表現を生成する責務を担っている。
ToddlerDiffusionは、常に最先端のメソッドより優れています。
論文 参考訳(メタデータ) (2023-11-24T15:20:01Z) - RealLiFe: Real-Time Light Field Reconstruction via Hierarchical Sparse
Gradient Descent [23.4659443904092]
EffLiFeは、スパースビュー画像から高品質な光場をリアルタイムで生成する新しい光場最適化手法である。
本手法は,最先端のオフライン手法よりも平均100倍高速な視覚的品質を実現する。
論文 参考訳(メタデータ) (2023-07-06T14:31:01Z) - Scale-aware Two-stage High Dynamic Range Imaging [13.587403084724015]
本稿では,高品質なゴーストフリー画像合成を実現するため,スケールアウェアな2段階ハイレンジイメージングフレームワーク(ST)を提案する。
具体的には,機能アライメントと2段階融合からなるフレームワークについて述べる。
特徴融合の第1段階では,ゴーストアーティファクトの少ない予備的な結果が得られる。
第2段階では,提案したSTの有効性を,速度と品質の観点から検証する。
論文 参考訳(メタデータ) (2023-03-12T05:17:24Z) - PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene
Reconstruction from Blurry Images [75.87721926918874]
PDRF(Progressive Deblurring Radiance Field)について報告する。
PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。
PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
論文 参考訳(メタデータ) (2022-08-17T03:42:29Z) - PAN: Towards Fast Action Recognition via Learning Persistence of
Appearance [60.75488333935592]
最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。
本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。
我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。
光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
論文 参考訳(メタデータ) (2020-08-08T07:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。