論文の概要: CoGenRec: A Unified Generative Framework for Complementary Vision Reconstruction
- arxiv url: http://arxiv.org/abs/2611.07665v1
- Date: Thu, 05 Nov 2026 08:47:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.608476
- Title: CoGenRec: A Unified Generative Framework for Complementary Vision Reconstruction
- Title（参考訳）: CoGenRec: 補完的なビジョン再構築のための統一された生成フレームワーク
- Abstract要約: 従来のフレームベースのカメラは、時間的アンダーサンプリング、露光による動きのぼかし、センサー飽和に悩まされている。
Complementary Vision Sensor (CVS)は2つの補完経路で視覚情報を分解することでこれらの制限に対処する。
本稿では,映像ブルリング,高画質フレーム知覚,HDR融合を実現する補完駆動型生成再構成フレームワークCoGenRecを提案する。
- 参考スコア（独自算出の注目度）: 9.853840853336832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Capturing scenes with extreme motion and high dynamic range is fundamentally constrained by trade-offs among temporal resolution, spatial detail, signal-to-noise ratio, and dynamic range under practical bandwidth, power, and quantum-efficiency limits. Conventional frame-based cameras therefore suffer from temporal undersampling, exposure-induced motion blur, and sensor saturation. The Complementary Vision Sensor (CVS) addresses these limitations by decomposing visual information across two complementary pathways, a spatially dense, temporally sparse, long-exposure RGB pathway and a temporally dense, spatially sparse, short-exposure patiotemporal difference pathway. Their complementary measurements provide appearance, structural, and motion cues across a wide dynamic range that enable reconstruction beyond conventional imaging. We present CoGenRec, a complementarity-driven generative reconstruction framework that unifies video deblurring, high-temporal-resolution frame interpolation, and HDR fusion. CoGenRec encodes complementary measurements into multi-scale spatiotemporal features using exposure-aware appearance modeling and bidirectional temporal propagation. These features constrain a video diffusion model and are injected into the VAE decoder to recover fine structures lost during latent-space compression, combining the scene fidelity of physical measurements with the appearance recovery capabilities of learned video priors. On SportsSloMo-CVS, CoGenRec improves PSNR over the strongest general-purpose baseline by 4.40 dB for deblurring, 3.89 dB for frame interpolation, and 5.04 dB for HDR fusion, respectively. It also achieves strong perceptual quality on 129 unseen scenes captured with real CVS. These results establish a unified approach to advance high-quality reconstruction under challenging motion and illumination conditions. Project page: https://cogenrec.github.io/.
- Abstract（参考訳）: 極端な動きと高いダイナミックレンジを持つシーンのキャプチャは、時間分解能、空間的詳細、信号と雑音の比率、実用的な帯域幅、パワー、量子効率の限界の下でのダイナミックレンジのトレードオフによって、基本的に制限される。
したがって、従来のフレームベースのカメラは、時間的アンダーサンプリング、露出によって引き起こされる動きのぼかし、センサー飽和に悩まされる。
Complementary Vision Sensor (CVS)は、空間的に密度が高く、時間的にスパースで、長い露光RGB経路と、時間的に密度が高く、空間的にスパースで、短露光の時相差経路という2つの相補的な経路で視覚情報を分解することで、これらの制限に対処する。
彼らの相補的な測定は、外観、構造、動きの手がかりを広いダイナミックレンジにわたって提供し、従来の画像以上の再構成を可能にする。
本稿では,映像の劣化,高時間分解能フレーム補間,HDR融合を統一する相補性駆動型生成再構成フレームワークCoGenRecを提案する。
CoGenRecは、露光認識の外観モデリングと双方向の時間伝搬を用いて、相補的測定をマルチスケールの時空間特徴に符号化する。
これらの特徴はビデオ拡散モデルを制約し、VAEデコーダに注入され、遅延空間圧縮時に失われた微細構造を復元する。
SportsSloMo-CVSでは、CoGenRecはPSNRを4.40dB、フレーム補間は3.89dB、HDR融合は5.04dB改善している。
また、実際のCVSで撮影された129の見えないシーンに対して、知覚品質も高い。
これらの結果は、挑戦的な動きと照明条件の下で高品質な再構築を進めるための統一的なアプローチを確立している。
プロジェクトページ: https://cogenrec.github.io/.com
関連論文リスト
- Moment-Reenacting: Inverse Motion Degradation with Cross-shutter Guidance [38.2932325938093]
運動劣化を逆転し、画像モーメントを再現する統一的な枠組みを提案する。
本稿では,同期化Blub-RS画像ペアをキャプチャする新しいデュアルシャッター構成を提案する。
柔軟なパフォーマンスコストのトレードオフを可能にするため、このデュアルシャッター設定をステレオBlur-RS構成に拡張する。
論文 参考訳（メタデータ） (2026-05-21T12:43:02Z) - High-Speed Full-Color HDR Imaging via Unwrapping Modulo-Encoded Spike Streams [83.83721273785281]
高速フルカラーHDR取得が可能な全変調HDRイメージングシステムを提案する。
このアプローチの核心は、複数の測定を時間内にインターリーブできる、露出分離型モジュロイメージングの定式化である。
本システムの実現可能性を検証するため,モジュール符号化スパイクストリームに基づく概念実証ハードウェアの実装を実証した。
論文 参考訳（メタデータ） (2026-04-16T05:20:38Z) - Exploring Spatiotemporal Feature Propagation for Video-Level Compressive Spectral Reconstruction: Dataset, Model and Benchmark [22.5556672954071]
SCI(Spectral Compressive Imaging)は、ダイナミックスペクトルビジョンにおいて大きな可能性を秘めている。
既存の再建法は、主にイメージベースであり、2つの制限がある。
フレーム・バイ・フレームの再構築パラダイムは、ビデオ知覚において重要な時間的一貫性を確保するのに失敗する。
論文 参考訳（メタデータ） (2026-02-28T12:11:13Z) - Lumosaic: Hyperspectral Video via Active Illumination and Coded-Exposure Pixels [19.00390495006801]
Lumosaic(ルモザイク)は、ダイナミックシーンのリアルタイムキャプチャ用に設計された、コンパクトなアクティブハイパースペクトルビデオシステムである。
提案手法では、狭帯域LEDアレイと、高速で1画素当たりの露光制御が可能な符号化された露光画素カメラを組み合わせる。
論文 参考訳（メタデータ） (2026-02-25T17:42:44Z) - STCDiT: Spatio-Temporally Consistent Diffusion Transformer for High-Quality Video Super-Resolution [60.06664986365803]
我々は,事前学習したビデオ拡散モデルに基づいて構築されたビデオ超解像フレームワークSTCDiTを提案する。
複雑なカメラの動きであっても、構造的に忠実で時間的に安定した動画を劣化した入力から復元することを目的としている。
論文 参考訳（メタデータ） (2025-11-24T05:37:23Z) - Rethinking Diffusion Model-Based Video Super-Resolution: Leveraging Dense Guidance from Aligned Features [51.5076190312734]
ビデオ超解法アプローチは、エラーの蓄積、空間的アーティファクト、知覚的品質と忠実さのトレードオフに悩まされる。
ビデオ超解像(DGAF-VSR)に適した特徴を持つ新しい誘導拡散モデルを提案する。
合成および実世界のデータセットの実験では、DGAF-VSRがVSRの重要な側面において最先端の手法を超越していることが示されている。
論文 参考訳（メタデータ） (2025-11-21T03:40:45Z) - Towards Robust and Generalizable Continuous Space-Time Video Super-Resolution with Events [71.2439653098351]
連続時空ビデオスーパーSTVSRは、高解像度で高フレームのビデオを任意の時間スケールで再構成する能力への関心が高まっている。
EvEnhancerは、イベントストリームにカプセル化された高時間および高ダイナミックレンジのユニークな特性を結合する新しいアプローチである。
提案手法は,OODスケールでの一般化性を維持しつつ,合成および実世界の両方のデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2025-10-04T15:23:07Z) - MIORe & VAR-MIORe: Benchmarks to Push the Boundaries of Restoration [53.180212987726556]
動作回復ベンチマークの限界に対処する2つの新しいマルチタスクデータセットであるMIOReとVAR-MIOReを紹介する。
私たちのデータセットは、複雑なエゴカメラの動き、動的マルチオブジェクト相互作用、深さ依存のぼかし効果など、幅広い動きシナリオを捉えています。
論文 参考訳（メタデータ） (2025-09-08T15:34:31Z) - UltraVSR: Achieving Ultra-Realistic Video Super-Resolution with Efficient One-Step Diffusion Space [46.43409853027655]
拡散モデルは、現実的な画像の詳細を生成する大きな可能性を示している。
これらのモデルをビデオ超解像(VSR)に適応させることは、その性質と時間的モデリングの欠如により、依然として困難である。
我々は,超現実的で時間的に整合したVSRを,効率的なワンステップ拡散空間で実現するための新しいフレームワークであるUltraVSRを提案する。
論文 参考訳（メタデータ） (2025-05-26T13:19:27Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。