論文の概要: Alignment-free HDR Deghosting with Semantics Consistent Transformer
- arxiv url: http://arxiv.org/abs/2305.18135v2
- Date: Thu, 28 Sep 2023 17:34:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 22:28:09.617917
- Title: Alignment-free HDR Deghosting with Semantics Consistent Transformer
- Title(参考訳): セマンティクス整合トランスフォーマによるアライメントフリーhdrデグホスト
- Authors: Steven Tel, Zongwei Wu, Yulun Zhang, Barth\'el\'emy Heyrman, C\'edric
Demonceaux, Radu Timofte, Dominique Ginhac
- Abstract要約: 高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
- 参考スコア(独自算出の注目度): 76.91669741684173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High dynamic range (HDR) imaging aims to retrieve information from multiple
low-dynamic range inputs to generate realistic output. The essence is to
leverage the contextual information, including both dynamic and static
semantics, for better image generation. Existing methods often focus on the
spatial misalignment across input frames caused by the foreground and/or camera
motion. However, there is no research on jointly leveraging the dynamic and
static context in a simultaneous manner. To delve into this problem, we propose
a novel alignment-free network with a Semantics Consistent Transformer (SCTNet)
with both spatial and channel attention modules in the network. The spatial
attention aims to deal with the intra-image correlation to model the dynamic
motion, while the channel attention enables the inter-image intertwining to
enhance the semantic consistency across frames. Aside from this, we introduce a
novel realistic HDR dataset with more variations in foreground objects,
environmental factors, and larger motions. Extensive comparisons on both
conventional datasets and ours validate the effectiveness of our method,
achieving the best trade-off on the performance and the computational cost.
- Abstract(参考訳): 高ダイナミックレンジイメージング(HDR)は、複数の低ダイナミックレンジ入力から情報を取得し、現実的な出力を生成することを目的としている。
本質的には、動的セマンティクスと静的セマンティクスの両方を含むコンテキスト情報を活用して、画像生成を改善する。
既存の手法では、前景やカメラの動きによる入力フレーム間の空間的不一致にしばしば焦点が当てられている。
しかし,動的コンテキストと静的コンテキストを同時に活用する研究は行われていない。
そこで本研究では,ネットワーク内の空間的およびチャネル的注意モジュールを併せ持つ,意味的一貫性を持つトランスフォーマー(sctnet)を用いたアライメントフリーネットワークを提案する。
空間的注意は動的動きをモデル化するための画像内相関に対処することを目的としており、チャネル的注意は画像間干渉を可能にし、フレーム間のセマンティック一貫性を高める。
これとは別に、前景の物体、環境要因、より大きな動きのバリエーションを持つ新しいリアルなHDRデータセットを導入する。
従来のデータセットと我々のデータの比較は,提案手法の有効性を検証し,性能と計算コストのトレードオフを最大化している。
関連論文リスト
- CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from
Monocular Video [26.833265073162696]
物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。
実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
論文 参考訳(メタデータ) (2024-01-10T00:40:05Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-03T17:59:55Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳(メタデータ) (2023-04-14T05:30:02Z) - Ghost-free High Dynamic Range Imaging via Hybrid CNN-Transformer and
Structure Tensor [12.167049432063132]
本稿では,ゴーストフリーなHDR画像を生成するために,畳み込みエンコーダとトランスフォーマーデコーダを組み合わせたハイブリッドモデルを提案する。
エンコーダでは、マルチスケール機能を最適化するために、コンテキスト集約ネットワークと非ローカルアテンションブロックが採用されている。
Swin Transformer に基づくデコーダを用いて,提案モデルの再構成性能を向上させる。
論文 参考訳(メタデータ) (2022-12-01T15:43:32Z) - DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。
このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。
3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-07-13T11:12:03Z) - STVGFormer: Spatio-Temporal Video Grounding with Static-Dynamic
Cross-Modal Understanding [68.96574451918458]
静的分岐と動的分岐を用いて視覚言語依存をモデル化するSTVGというフレームワークを提案する。
静的分岐と動的分岐は、クロスモーダルトランスとして設計されている。
提案手法は39.6%のvIoUを達成し,HC-STVGの第1位を獲得した。
論文 参考訳(メタデータ) (2022-07-06T15:48:58Z) - Motion-aware Dynamic Graph Neural Network for Video Compressive Sensing [17.441522549583805]
ビデオスナップショットイメージング(SCI)は、2D検出器を使用してシーケンシャルなビデオフレームをキャプチャし、それらを1つの測定値に圧縮する。
既存の再建手法の多くは、長期の空間的および時間的依存関係をキャプチャできない。
本稿では,空間内の画素間の非局所的相互作用を効率的にモデル化するための,グラフニューラルネットワーク(GNN)に基づくフレキシブルでロバストなアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-01T12:13:46Z) - Wide and Narrow: Video Prediction from Context and Motion [54.21624227408727]
本稿では,これらの相補的属性を統合し,深層ネットワークを通した複雑なピクセルのダイナミックスを予測するフレームワークを提案する。
本研究では,非局所的な近隣表現を集約し,過去のフレーム上の文脈情報を保存するグローバルなコンテキスト伝搬ネットワークを提案する。
また,移動オブジェクトの動作をメモリに格納することで,適応的なフィルタカーネルを生成するローカルフィルタメモリネットワークを考案した。
論文 参考訳(メタデータ) (2021-10-22T04:35:58Z) - FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow [17.040818114071833]
ダイナミック/静的セグメンテーションとカメラのエゴモーション推定を同時に実現する新しいRGB-D SLAMソリューションを提案する。
我々の新しい特徴は、RGB-D点雲のダイナミックセマンティクスを強調するために光学フロー残基を使うことである。
論文 参考訳(メタデータ) (2020-03-11T04:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。