論文の概要: 3One2: One-step Regression Plus One-step Diffusion for One-hot Modulation in Dual-path Video Snapshot Compressive Imaging
- arxiv url: http://arxiv.org/abs/2512.17578v1
- Date: Fri, 19 Dec 2025 13:44:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-22 19:25:54.409031
- Title: 3One2: One-step Regression Plus One-step Diffusion for One-hot Modulation in Dual-path Video Snapshot Compressive Imaging
- Title（参考訳）: 3One2:Dual-path Video Snapshot Compressive Imagingにおける1段階回帰と1段階拡散
- Authors: Ge Wang, Xing Liu, Xin Yuan,
- Abstract要約: ビデオスナップショットイメージング(SCI)は、2次元(2D)スナップショットを通して動的なシーンシーケンスをキャプチャする。
ワンホット変調は1ピクセルあたり1つのサブフレームのみを活性化し、完全な時間デカップリングを達成するための有望なソリューションを提供する。
ワンホットマスクに特化して設計されたアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 15.082139132074294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video snapshot compressive imaging (SCI) captures dynamic scene sequences through a two-dimensional (2D) snapshot, fundamentally relying on optical modulation for hardware compression and the corresponding software reconstruction. While mainstream video SCI using random binary modulation has demonstrated success, it inevitably results in temporal aliasing during compression. One-hot modulation, activating only one sub-frame per pixel, provides a promising solution for achieving perfect temporal decoupling, thereby alleviating issues associated with aliasing. However, no algorithms currently exist to fully exploit this potential. To bridge this gap, we propose an algorithm specifically designed for one-hot masks. First, leveraging the decoupling properties of one-hot modulation, we transform the reconstruction task into a generative video inpainting problem and introduce a stochastic differential equation (SDE) of the forward process that aligns with the hardware compression process. Next, we identify limitations of the pure diffusion method for video SCI and propose a novel framework that combines one-step regression initialization with one-step diffusion refinement. Furthermore, to mitigate the spatial degradation caused by one-hot modulation, we implement a dual optical path at the hardware level, utilizing complementary information from another path to enhance the inpainted video. To our knowledge, this is the first work integrating diffusion into video SCI reconstruction. Experiments conducted on synthetic datasets and real scenes demonstrate the effectiveness of our method.
- Abstract（参考訳）: ビデオスナップショット圧縮画像(SCI)は2次元(2次元)スナップショットを通して動的シーンシーケンスをキャプチャし、ハードウェア圧縮の光学変調とそれに対応するソフトウェア再構成に依存する。
ランダムなバイナリ変調を用いたメインストリームビデオSCIは成功したが、圧縮中に時間的エイリアスが発生することは必然的にある。
ワンホット変調は1ピクセル当たり1サブフレームのみを活性化し、完全な時間的疎結合を達成するための有望なソリューションを提供する。
しかし、この可能性を完全に活用するアルゴリズムは今のところ存在しない。
このギャップを埋めるために,一点マスクに特化して設計されたアルゴリズムを提案する。
まず, 1ホット変調のデカップリング特性を利用して, 再構成タスクを生成ビデオの塗装問題に変換し, ハードウェア圧縮プロセスと整合する前方過程の確率微分方程式(SDE)を導入する。
次に、ビデオSCIにおける純粋拡散法の限界を特定し、一段階回帰初期化と一段階拡散改善を組み合わせた新しいフレームワークを提案する。
さらに, ワンホット変調による空間劣化を緩和するため, ハードウェアレベルで二重光路を実装し, 他経路からの相補的情報を活用し, インペイント映像の高精細化を図る。
我々の知る限り、これはビデオSCI再構成に拡散を統合する最初の作品である。
合成データセットと実シーンを用いて実験を行い,本手法の有効性を実証した。
関連論文リスト
- ReLumix: Extending Image Relighting to Video via Video Diffusion Models [5.890782804843724]
ビデオのポストプロダクション中に照明を制御することは、計算写真において重要な目標である。
本稿では、時間合成からリライトを分離する新しいフレームワークであるReLumixを紹介する。
ReLumixは、合成データに基づいて訓練されているが、実世界のビデオに対する競争上の一般化を示している。
論文 参考訳（メタデータ） (2025-09-28T09:35:33Z) - FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。
自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。
PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。
FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
論文 参考訳（メタデータ） (2025-03-25T15:04:53Z) - PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [95.98801201266099]
拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。
本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。
我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
論文 参考訳（メタデータ） (2024-11-26T04:49:42Z) - ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。
我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。
提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
論文 参考訳（メタデータ） (2024-10-08T03:01:54Z) - Deep Optics for Video Snapshot Compressive Imaging [10.830072985735175]
ビデオ・スナップショット・イメージング(SCI)は、2D検出器の1枚のショットだけでビデオ・フレームのシーケンスをキャプチャすることを目的としている。
本稿では,マスクと再構成ネットワークを協調的に最適化する枠組みを提案する。
これは、現実世界のビデオSCIのマイルストーンだ、と私たちは信じている。
論文 参考訳（メタデータ） (2024-04-08T08:04:44Z) - Unfolding Framework with Prior of Convolution-Transformer Mixture and
Uncertainty Estimation for Video Snapshot Compressive Imaging [7.601695814245209]
本稿では, 連続する高速フレームを異なるマスクで変調し, 単一の計測でキャプチャする, ビデオスナップショット圧縮画像(SCI)の問題点について考察する。
最適化アルゴリズムとニューラルネットワークを組み合わせることで、ディープ・アンフォールディング・ネットワーク(DUN)は、逆問題の解決において大きな成果を上げた。
論文 参考訳（メタデータ） (2023-06-20T06:25:48Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-11T02:31:31Z) - Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral
Compressive Imaging [142.11622043078867]
圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。
HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
論文 参考訳（メタデータ） (2022-05-20T11:37:44Z) - Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent
Neural Network [14.796204921975733]
デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。
既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。
本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-09-11T14:24:44Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳（メタデータ） (2020-08-20T20:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。