論文の概要: NeuriCam: Key-Frame Video Super-Resolution and Colorization for IoT
Cameras
- arxiv url: http://arxiv.org/abs/2207.12496v2
- Date: Thu, 13 Apr 2023 23:35:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 17:03:47.525332
- Title: NeuriCam: Key-Frame Video Super-Resolution and Colorization for IoT
Cameras
- Title（参考訳）: NeuriCam:IoTカメラのためのキーフレームビデオスーパーリゾリューションとカラー化
- Authors: Bandhav Veluri, Collin Pernu, Ali Saffari, Joshua Smith, Michael
Taylor, Shyamnath Gollakota
- Abstract要約: 我々は,低消費電力デュアルモードIoTカメラシステムによるビデオキャプチャを実現するための,新しいディープラーニングベースのシステムであるNeuriCamを提案する。
提案手法は,既存システムに比べてエネルギー消費量を7倍に削減できることを示す。
- 参考スコア（独自算出の注目度）: 6.6445857362127665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present NeuriCam, a novel deep learning-based system to achieve video
capture from low-power dual-mode IoT camera systems. Our idea is to design a
dual-mode camera system where the first mode is low-power (1.1 mW) but only
outputs grey-scale, low resolution, and noisy video and the second mode
consumes much higher power (100 mW) but outputs color and higher resolution
images. To reduce total energy consumption, we heavily duty cycle the high
power mode to output an image only once every second. The data for this camera
system is then wirelessly sent to a nearby plugged-in gateway, where we run our
real-time neural network decoder to reconstruct a higher-resolution color
video. To achieve this, we introduce an attention feature filter mechanism that
assigns different weights to different features, based on the correlation
between the feature map and the contents of the input frame at each spatial
location. We design a wireless hardware prototype using off-the-shelf cameras
and address practical issues including packet loss and perspective mismatch.
Our evaluations show that our dual-camera approach reduces energy consumption
by 7x compared to existing systems. Further, our model achieves an average
greyscale PSNR gain of 3.7 dB over prior single and dual-camera video
super-resolution methods and 5.6 dB RGB gain over prior color propagation
methods. Open-source code: https://github.com/vb000/NeuriCam.
- Abstract（参考訳）: 我々は,低消費電力デュアルモードIoTカメラシステムによるビデオキャプチャを実現するための,新しいディープラーニングベースのシステムであるNeuriCamを提案する。
我々の考えでは、第1モードは低消費電力(1.1 mW)だが、グレースケール、低解像度、ノイズの多いビデオのみを出力し、第2モードはより高出力(100 mW)を消費するが、色と高解像度の画像を出力するデュアルモードカメラシステムを設計する。
総エネルギー消費量を減らすため、高電力モードを重くサイクルし、1秒間に1回だけ画像を出力します。
このカメラシステムのデータは、近くのプラグインゲートウェイにワイヤレスで送信され、リアルタイムニューラルネットワークデコーダを実行して高解像度のカラービデオを再構成します。
これを実現するために,各空間位置における特徴マップと入力フレームの内容との相関に基づいて,異なる特徴に異なる重みを割り当てる注目特徴フィルタ機構を導入する。
市販のカメラを用いた無線ハードウェアプロトタイプを設計し,パケットロスや視点ミスマッチといった現実的な問題に対処する。
提案手法は,既存システムに比べてエネルギー消費量を7倍に削減できることを示す。
さらに,本モデルでは,従来の単眼/双眼ビデオ超解像法よりも平均3.7dBのPSNRゲイン,および5.6dB RGBゲインを実現している。
オープンソースコード:https://github.com/vb000/NeuriCam。
関連論文リスト
- Hierarchical Patch Diffusion Models for High-Resolution Video Generation [50.42746357450949]
我々は,階層的な方法で,コンテキスト情報を低スケールから高スケールのパッチに伝播する深層文脈融合を開発する。
また,ネットワーク容量の増大と,粗い画像の細部への演算を行う適応計算を提案する。
得られたモデルは、クラス条件のビデオ生成において66.32の最先端FVDスコアと87.68のインセプションスコアを新たに設定する。
論文 参考訳（メタデータ） (2024-06-12T01:12:53Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - Event-guided Multi-patch Network with Self-supervision for Non-uniform
Motion Deblurring [113.96237446327795]
本稿では,ぼやけた画像やビデオを扱うための,イベント誘導型深層階層型マルチパッチネットワークを提案する。
また、ビデオ内の複雑なぼやけに対処するために、動画に含まれる動きの手がかりを利用するイベント誘導アーキテクチャを提案する。
我々のMPNは、現在のマルチスケール手法に比べて40倍高速なランタイムでGoProとVideoDeblurringデータセットの最先端を達成しています。
論文 参考訳（メタデータ） (2023-02-14T15:58:00Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:05:47Z) - Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic
Skip Connection Network [80.67717076541956]
アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。
典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。
本研究では,前述の劣化問題の解析と対処を目的とする。
論文 参考訳（メタデータ） (2021-04-19T18:41:45Z) - Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。
本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。
また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
論文 参考訳（メタデータ） (2021-02-02T16:10:15Z) - Exploit Camera Raw Data for Video Super-Resolution via Hidden Markov
Model Inference [17.82232046395501]
本稿では,カメラセンサデータを直接利用可能な,新しい深層学習型ビデオ超解法(VSR)を提案する。
提案手法は、最先端技術と比較して優れたVSR結果が得られ、特定のカメラISPに適応できる。
論文 参考訳（メタデータ） (2020-08-24T21:14:13Z) - Deep Atrous Guided Filter for Image Restoration in Under Display Cameras [18.6418313982586]
ディスプレイカメラの下では、カメラを半透明のOLEDスクリーンの後ろに配置することで、ベゼルのないディスプレイを実現することができる。
このようなイメージングシステムは、光の減衰と回折効果による画像劣化に悩まされる。
UDCシステムにおける画像復元のための2段階のエンド・ツー・エンドアプローチであるDeep Atrous Guided Filter(DAGF)を提案する。
論文 参考訳（メタデータ） (2020-08-14T07:54:52Z) - Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。
Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。
本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
論文 参考訳（メタデータ） (2020-07-30T09:21:04Z) - RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking [16.06615504110132]
6自由度で3次元物体追跡を高速化するために,イベントベースカメラを提案する。
このアプリケーションは、魅力的なAR体験を伝えるために、非常に高いオブジェクトスピードを扱う必要がある。
我々は,既存のRGB-Dネットワークと新しいイベントベースネットワークをカスケード方式で組み合わせたディープラーニングアプローチを開発した。
論文 参考訳（メタデータ） (2020-06-09T01:55:48Z) - Image Restoration for Under-Display Camera [14.209602483950322]
フルスクリーンデバイスの新たなトレンドは、私たちはスクリーンの後ろにカメラを置くことを奨励します。
ベゼルを外し、画面下にカメラを集中させると、ディスプレイとボディの比率が大きくなり、ビデオチャットではアイコンタクトが強化されるが、画像の劣化も引き起こす。
本稿では,新たに定義されたUnder-Display Camera (UDC) に焦点をあてる。
論文 参考訳（メタデータ） (2020-03-10T17:09:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。