論文の概要: NeuriCam: Video Super-Resolution and Colorization Using Key Frames
- arxiv url: http://arxiv.org/abs/2207.12496v1
- Date: Mon, 25 Jul 2022 19:54:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-27 12:42:20.428480
- Title: NeuriCam: Video Super-Resolution and Colorization Using Key Frames
- Title（参考訳）: NeuriCam: キーフレームによるビデオの超解像とカラー化
- Authors: Bandhav Veluri, Ali Saffari, Collin Pernu, Joshua Smith, Michael
Taylor, Shyamnath Gollakota
- Abstract要約: NeuriCamは、デュアルモードIOTカメラによる低消費電力ビデオキャプチャを実現するための、キーフレームビデオ超解像度およびカラー化ベースのシステムである。
我々のデュアルカメラハードウェアは、従来のビデオ超解像法よりも平均3.7dBのグレースケールPSNRゲインを実現しつつ、カメラの消費電力を減少させることを示した。
- 参考スコア（独自算出の注目度）: 6.6445857362127665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present NeuriCam, a key-frame video super-resolution and colorization
based system, to achieve low-power video capture from dual-mode IOT cameras.
Our idea is to design a dual-mode camera system where the first mode is low
power (1.1~mW) but only outputs gray-scale, low resolution and noisy video and
the second mode consumes much higher power (100~mW) but outputs color and
higher resolution images. To reduce total energy consumption, we heavily duty
cycle the high power mode to output an image only once every second. The data
from this camera system is then wirelessly streamed to a nearby plugged-in
gateway, where we run our real-time neural network decoder to reconstruct a
higher resolution color video. To achieve this, we introduce an attention
feature filter mechanism that assigns different weights to different features,
based on the correlation between the feature map and contents of the input
frame at each spatial location. We design a wireless hardware prototype using
off-the-shelf cameras and address practical issues including packet loss and
perspective mismatch. Our evaluation shows that our dual-camera hardware
reduces camera energy consumption while achieving an average gray-scale PSNR
gain of 3.7~dB over prior video super resolution methods and 5.6~dB RGB gain
over existing color propagation methods. Open-source code:
https://github.com/vb000/NeuriCam.
- Abstract（参考訳）: 我々は、デュアルモードIOTカメラによる低消費電力ビデオキャプチャを実現するために、キーフレームビデオの超高解像度化とカラー化に基づくシステムであるNeuriCamを提案する。
我々のアイデアは、第1モードが低消費電力(1.1~mw)だがグレースケール、低解像度、ノイズビデオのみを出力し、第2モードがはるかに高消費電力(1～mw)を消費するデュアルモードカメラシステムを設計することである。
総エネルギー消費量を減らすため、高電力モードを重くサイクルし、1秒間に1回だけ画像を出力します。
このカメラシステムのデータは、近くのプラグインゲートウェイにワイヤレスでストリーミングされ、リアルタイムニューラルネットワークデコーダを実行して、高解像度のカラービデオを再構成します。
これを実現するために,各空間位置における特徴マップと入力フレームの内容との相関に基づいて,異なる特徴に異なる重みを割り当てる注目特徴フィルタ機構を導入する。
市販のカメラを用いた無線ハードウェアプロトタイプを設計し,パケットロスや視点ミスマッチといった現実的な問題に対処する。
我々のデュアルカメラハードウェアは、従来のビデオ超解像法よりも3.7〜dB、既存の色伝搬法より5.6〜dBのPSNRゲインを達成しつつ、カメラの消費電力を減少させる。
オープンソースコード:https://github.com/vb000/NeuriCam。
関連論文リスト
- Hierarchical Patch Diffusion Models for High-Resolution Video Generation [50.42746357450949]
我々は,階層的な方法で,コンテキスト情報を低スケールから高スケールのパッチに伝播する深層文脈融合を開発する。
また,ネットワーク容量の増大と,粗い画像の細部への演算を行う適応計算を提案する。
得られたモデルは、クラス条件のビデオ生成において66.32の最先端FVDスコアと87.68のインセプションスコアを新たに設定する。
論文 参考訳（メタデータ） (2024-06-12T01:12:53Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - Event-guided Multi-patch Network with Self-supervision for Non-uniform
Motion Deblurring [113.96237446327795]
本稿では,ぼやけた画像やビデオを扱うための,イベント誘導型深層階層型マルチパッチネットワークを提案する。
また、ビデオ内の複雑なぼやけに対処するために、動画に含まれる動きの手がかりを利用するイベント誘導アーキテクチャを提案する。
我々のMPNは、現在のマルチスケール手法に比べて40倍高速なランタイムでGoProとVideoDeblurringデータセットの最先端を達成しています。
論文 参考訳（メタデータ） (2023-02-14T15:58:00Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:05:47Z) - Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic
Skip Connection Network [80.67717076541956]
アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。
典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。
本研究では,前述の劣化問題の解析と対処を目的とする。
論文 参考訳（メタデータ） (2021-04-19T18:41:45Z) - Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。
本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。
また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
論文 参考訳（メタデータ） (2021-02-02T16:10:15Z) - Exploit Camera Raw Data for Video Super-Resolution via Hidden Markov
Model Inference [17.82232046395501]
本稿では,カメラセンサデータを直接利用可能な,新しい深層学習型ビデオ超解法(VSR)を提案する。
提案手法は、最先端技術と比較して優れたVSR結果が得られ、特定のカメラISPに適応できる。
論文 参考訳（メタデータ） (2020-08-24T21:14:13Z) - Deep Atrous Guided Filter for Image Restoration in Under Display Cameras [18.6418313982586]
ディスプレイカメラの下では、カメラを半透明のOLEDスクリーンの後ろに配置することで、ベゼルのないディスプレイを実現することができる。
このようなイメージングシステムは、光の減衰と回折効果による画像劣化に悩まされる。
UDCシステムにおける画像復元のための2段階のエンド・ツー・エンドアプローチであるDeep Atrous Guided Filter(DAGF)を提案する。
論文 参考訳（メタデータ） (2020-08-14T07:54:52Z) - Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。
Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。
本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
論文 参考訳（メタデータ） (2020-07-30T09:21:04Z) - RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking [16.06615504110132]
6自由度で3次元物体追跡を高速化するために,イベントベースカメラを提案する。
このアプリケーションは、魅力的なAR体験を伝えるために、非常に高いオブジェクトスピードを扱う必要がある。
我々は,既存のRGB-Dネットワークと新しいイベントベースネットワークをカスケード方式で組み合わせたディープラーニングアプローチを開発した。
論文 参考訳（メタデータ） (2020-06-09T01:55:48Z) - Image Restoration for Under-Display Camera [14.209602483950322]
フルスクリーンデバイスの新たなトレンドは、私たちはスクリーンの後ろにカメラを置くことを奨励します。
ベゼルを外し、画面下にカメラを集中させると、ディスプレイとボディの比率が大きくなり、ビデオチャットではアイコンタクトが強化されるが、画像の劣化も引き起こす。
本稿では,新たに定義されたUnder-Display Camera (UDC) に焦点をあてる。
論文 参考訳（メタデータ） (2020-03-10T17:09:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。