論文の概要: Learning to read residual images for single-pixel photography
- arxiv url: http://arxiv.org/abs/2611.03729v1
- Date: Sun, 01 Nov 2026 12:29:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 11:26:28.494431
- Title: Learning to read residual images for single-pixel photography
- Title(参考訳): 単画素写真のための残像読影学習
- Abstract要約: 連続ビデオは、カメラカウント、解像度、記録期間とともにコストをスケールする。
多くの監視タスクは、完全な画像ではなくイベントを探し、コンパクトな1ピクセルの計測ストリームで操作できる。
MGV-Flow ( Measurement-Gradient-Conditioned Video Flow, MGV-Flow) は、前のフレームで持ち上げられた残像を読み取る訓練を受け、VLIでは398,sと18.1,dBに対して、1.55、22.9,dBのPSNRで5つのフレームを再構成した。
- 参考スコア(独自算出の注目度): 11.023841767119128
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continuous video scales in cost with camera count, resolution and recording duration, yet many monitoring tasks seek events rather than complete images and can operate on a compact single-pixel measurement stream. Recovering a chosen interval as video is then desirable, but at 0.24\% of the pixel count the scene correlation image looks like noise and per-clip optimization takes minutes. Correlating the residual of an estimate with the coding patterns nevertheless gives a residual image, the gradient of a centered measurement loss. Lifted through a pretrained video decoder, its agreement with the true error exceeds that of control decoders. Video-latent inversion (VLI) then outperforms frame-wise image-latent reconstruction at 1{,}000 bucket values. Measurement-Gradient-Conditioned Video Flow (MGV-Flow), trained once to read the lifted residual image with preceding frames, reconstructs five frames in 1.55\,s at 22.9\,dB median PSNR, against 398\,s and 18.1\,dB for VLI, with the largest gains in high-motion scenes. Directional fidelity ranks 30 coding configurations and selects one needing a third fewer bucket values. On a physical system, MGV-Flow outperforms per-frame reconstruction without retraining. A sliding window over the bucket-value stream yields 3.2 frames per second on one RTX~4090 and, in theory, 20 frames per second on a data-centre accelerator. Demonstrations are available at https://cavedweller509.github.io/MGV-Flow.
- Abstract(参考訳): 連続ビデオは、カメラカウント、解像度、記録期間とともにコストがかかるが、多くの監視タスクは完全な画像ではなくイベントを求め、コンパクトな単画素計測ストリームで操作することができる。
選択した間隔をビデオとして復元することが望ましいが、0.24\%のピクセル数では、シーン相関画像はノイズに見え、クリップごとの最適化には数分を要する。
いずれにせよ、推定値の残差と符号化パターンとの相関は、中心となる測定損失の勾配である残留像を与える。
事前訓練されたビデオデコーダを通し、真のエラーとの一致は制御デコーダのそれを超える。
Video-latent Inversion (VLI) は、1{,}000バケット値でフレームワイズ画像-latent Restructation を上回る。
MGV-Flow ( Measurement-Gradient-Conditioned Video Flow, MGV-Flow) は、前のフレームで持ち上げられた残像を読み取るように訓練され、VLIの398\,sと18.1\,dBに対して、1.55\,sで5つのフレームを22.9\,dB中央のPSNRで再構成した。
方向性の忠実度は、30のコーディング構成をランク付けし、3分の1のバケット値を必要とするものを選択する。
物理システムでは、MGV-Flowは再トレーニングなしでフレーム単位の再構築よりも優れる。
バケット値ストリーム上のスライディングウィンドウは、1つのRTX~4090で毎秒3.2フレーム、理論上はデータ中心加速器で毎秒20フレームを生成する。
デモはhttps://cavedweller509.github.io/MGV-Flowで公開されている。
関連論文リスト
- Rethinking Video Storage for AI Training: Breaking Cross-Frame Dependencies for Efficient Random Access [50.93138320625733]
大規模なAIトレーニングは、ランダムな時間的サンプリングパターンを持つ巨大なビデオデータセットにますます依存している。
既存のビデオストレージパラダイムは逐次再生に最適化されており、圧縮効率を最大化するためにフレーム間参照構造を用いる。
本稿では,非関連フレームの逐次再構成と,サンプリング対象の参照チェーンの再構築という,デコード増幅の源泉を同定する。
論文 参考訳(メタデータ) (2026-10-21T09:19:30Z) - LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。
単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。
LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
論文 参考訳(メタデータ) (2026-08-27T17:26:24Z) - TeCoNeRV: Leveraging Temporal Coherence for Compressible Neural Representations for Videos [51.99176811574457]
Inlicit Neural Representations (INRs) は、最近ビデオ圧縮における印象的な性能を実証した。
しかし、エンコーディング効率を維持しながら高解像度ビデオへのスケーリングは依然として大きな課題である。
3つの重要なコントリビューションを通じて、これらの基本的な制限に対処します。
我々は,UVG,HEVC,MCL-JCVで480p,720p,1080pで実験を行った最初のハイパーネットワークアプローチである。
論文 参考訳(メタデータ) (2026-02-18T18:59:55Z) - Buffer Anytime: Zero-Shot Video Depth and Normal from Image Priors [54.8852848659663]
Buffer Anytimeは、ビデオから深さと正規マップ(幾何バッファと呼ばれる)を推定するためのフレームワークです。
時間的整合性制約を持つ単一画像の先行値を活用することによって,高品質なビデオバッファ推定を実証する。
論文 参考訳(メタデータ) (2024-11-26T09:28:32Z) - Quanta Video Restoration [12.708095170886313]
本稿では,古典的量子再生手法のコアアイデアに基づいて構築された,エンドツーエンドのトレーニング可能なネットワークであるQuanta Video Restoration(QUIVER)を紹介する。
シミュレーションデータと実データでは、QUIVERは既存のQuanta復元法をかなりの差で上回っている。
論文 参考訳(メタデータ) (2024-10-19T05:50:12Z) - Predictive Coding For Animation-Based Video Compression [13.161311799049978]
本稿では,画像アニメーションを予測器として用いる予測符号化手法を提案し,実際の対象フレームに対する残差を符号化する。
実験の結果,HEVCビデオ標準に比べて70%以上,VVCに比べて30%以上,有意な上昇を示した。
論文 参考訳(メタデータ) (2023-07-09T14:40:54Z) - VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow
Estimation [61.660040308290796]
VideoFlowはビデオのための新しい光フロー推定フレームワークである。
まず、TRiフレーム光フロー(TROF)モジュールを提案し、3フレーム方式で中央フレームの双方向光フローを推定する。
反復流量推定精細化により、個々のTROFに融合した情報をMOPを介して全シーケンスに伝播することができる。
論文 参考訳(メタデータ) (2023-03-15T03:14:30Z) - Representation Recycling for Streaming Video Analysis [19.068248496174903]
StreamDEQは、最小フレーム当たりの計算量でビデオのフレームワイズ表現を推論することを目的としている。
StreamDEQは、数フレームの時間でほぼ最適表現を復元でき、ビデオ期間を通して最新の表現を維持できることを示す。
論文 参考訳(メタデータ) (2022-04-28T13:35:14Z) - Learning for Video Compression with Recurrent Auto-Encoder and Recurrent
Probability Model [164.7489982837475]
本稿では、リカレントオートエンコーダ(RAE)とリカレント確率モデル(RPM)を用いたリカレントラーニングビデオ圧縮(RLVC)手法を提案する。
RAEは、ビデオフレーム間の時間的相関を利用するために、エンコーダとデコーダの両方で繰り返しセルを使用する。
提案手法は,PSNRとMS-SSIMの両方の観点から,最先端の学習ビデオ圧縮性能を実現する。
論文 参考訳(メタデータ) (2020-06-24T08:46:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。