論文の概要: EvTexture: Event-driven Texture Enhancement for Video Super-Resolution
- arxiv url: http://arxiv.org/abs/2406.13457v1
- Date: Wed, 19 Jun 2024 11:27:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 20:03:05.364774
- Title: EvTexture: Event-driven Texture Enhancement for Video Super-Resolution
- Title(参考訳): EvTexture: ビデオ超解像のためのイベント駆動型テクスチャ強化
- Authors: Dachun Kai, Jiayao Lu, Yueyi Zhang, Xiaoyan Sun,
- Abstract要約: イベントベースの視覚は、高時間分解能や高ダイナミックレンジなどの独特の特徴により、注目されている。
本稿では,テクスチャ強化のためのイベント信号を利用した最初のVSR手法を提案する。
我々の手法はEvTextureと呼ばれ、VSRのテクスチャ領域をよりよく復元するためにイベントの高周波詳細を利用する。
- 参考スコア(独自算出の注目度): 12.533062663642745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based vision has drawn increasing attention due to its unique characteristics, such as high temporal resolution and high dynamic range. It has been used in video super-resolution (VSR) recently to enhance the flow estimation and temporal alignment. Rather than for motion learning, we propose in this paper the first VSR method that utilizes event signals for texture enhancement. Our method, called EvTexture, leverages high-frequency details of events to better recover texture regions in VSR. In our EvTexture, a new texture enhancement branch is presented. We further introduce an iterative texture enhancement module to progressively explore the high-temporal-resolution event information for texture restoration. This allows for gradual refinement of texture regions across multiple iterations, leading to more accurate and rich high-resolution details. Experimental results show that our EvTexture achieves state-of-the-art performance on four datasets. For the Vid4 dataset with rich textures, our method can get up to 4.67dB gain compared with recent event-based methods. Code: https://github.com/DachunKai/EvTexture.
- Abstract(参考訳): イベントベースの視覚は、高時間分解能や高ダイナミックレンジなどの独特の特徴により、注目されている。
近年、ビデオ超解像(VSR)において、流れの推定と時間的アライメントを高めるために用いられている。
本稿では, 動作学習ではなく, イベント信号を用いてテクスチャ強調を行う最初のVSR手法を提案する。
我々の手法はEvTextureと呼ばれ、VSRのテクスチャ領域をよりよく復元するためにイベントの高周波詳細を利用する。
EvTextureでは、新しいテクスチャ拡張ブランチが提示されます。
さらに,テクスチャ復元のための高時間分解能イベント情報を段階的に探索する反復的テクスチャ拡張モジュールを導入する。
これにより、複数のイテレーションにわたるテクスチャ領域の段階的な洗練が可能になり、より正確でリッチな高解像度のディテールが得られる。
実験の結果,EvTextureは4つのデータセットで最先端のパフォーマンスを実現していることがわかった。
リッチなテクスチャを持つVid4データセットでは,最近のイベントベース手法と比較して最大4.67dBのゲインが得られる。
コード:https://github.com/DachunKai/EvTexture.com
関連論文リスト
- TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。
本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。
テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
論文 参考訳(メタデータ) (2024-11-22T05:22:11Z) - Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models [54.35214051961381]
3Dメッシュはコンピュータビジョンとグラフィックスにおいて、アニメーションの効率と映画、ゲーム、AR、VRにおける最小限のメモリ使用のために広く利用されている。
しかし、メッシュのための時間的一貫性と現実的なテクスチャを作成することは、プロのアーティストにとって労働集約的だ。
本稿では、メッシュ配列から固有の幾何学とビデオ拡散モデルを統合することで、一貫したテクスチャを生成する3Dテクスチャシーケンスを提案する。
論文 参考訳(メタデータ) (2024-10-14T17:59:59Z) - TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling [37.67373829836975]
テクスチャ生成のための新しい多視点サンプリングおよび再サンプリングフレームワークであるTexGenを提案する。
提案手法は,高精細度3次元オブジェクトに対して,高精細度で優れたテクスチャ品質を実現する。
また,テクスチャ生成技術は,テクスチャ編集にも適用可能である。
論文 参考訳(メタデータ) (2024-08-02T14:24:40Z) - Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture [8.21159633722483]
自動幾何およびテクスチャ生成のための新しいフレームワークであるTopo4Dを提案する。
まず、時系列面を固定位相を持つ動的3次元ガウス面の集合として表現する。
次に、高品質な幾何学とテクスチャ学習のためのフレーム・バイ・フレームの代替的な幾何学とテクスチャ最適化を行う。
論文 参考訳(メタデータ) (2024-06-01T13:37:51Z) - Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。
本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。
1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
論文 参考訳(メタデータ) (2024-05-13T21:53:09Z) - TexRO: Generating Delicate Textures of 3D Models by Recursive Optimization [54.59133974444805]
TexROは、UVテクスチャを最適化することで、既知の3Dメッシュの繊細なテクスチャを生成する新しい方法である。
テクスチャ品質,ディテール保存,視覚的一貫性,特に実行速度の観点から,TexROの優れた性能を示す。
論文 参考訳(メタデータ) (2024-03-22T07:45:51Z) - Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering [47.78392889256976]
Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。
Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する
我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
論文 参考訳(メタデータ) (2023-12-18T17:17:08Z) - SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion
Priors [49.03627933561738]
SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。
SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
論文 参考訳(メタデータ) (2023-11-28T22:49:57Z) - UE4-NeRF:Neural Radiance Field for Real-Time Rendering of Large-Scale
Scene [52.21184153832739]
本研究では,大規模シーンのリアルタイムレンダリングに特化して設計されたUE4-NeRFと呼ばれるニューラルレンダリングシステムを提案する。
提案手法は,Unreal Engine 4 (UE4)のUnrealization Pipelineと組み合わせて,最大43FPSのフレームレートで4K解像度で大規模シーンのリアルタイムレンダリングを実現する。
論文 参考訳(メタデータ) (2023-10-20T04:01:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。