論文の概要: DeepLight: Robust & Unobtrusive Real-time Screen-Camera Communication
for Real-World Displays
- arxiv url: http://arxiv.org/abs/2105.05092v1
- Date: Tue, 11 May 2021 14:44:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 13:54:38.216483
- Title: DeepLight: Robust & Unobtrusive Real-time Screen-Camera Communication
for Real-World Displays
- Title（参考訳）: DeepLight:実世界のディスプレイのためのロバストで控えめなリアルタイムスクリーンカメラ通信
- Authors: Vu Tran, Gihan Jayatilaka, Ashwin Ashok, Archan Misra
- Abstract要約: DeepLightは、デコードパイプラインに機械学習(ML)モデルを取り入れ、人間に受け入れられない、適度に高いSCCレートを実現するシステムです。
DeepLightの主な革新は、ディスプレイフレームに空間的にエンコードされたすべてのビットをまとめてデコードするDeep Neural Network(DNN)ベースのデコーダの設計です。
- 参考スコア（独自算出の注目度）: 4.632704227272501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paper introduces a novel, holistic approach for robust Screen-Camera
Communication (SCC), where video content on a screen is visually encoded in a
human-imperceptible fashion and decoded by a camera capturing images of such
screen content. We first show that state-of-the-art SCC techniques have two key
limitations for in-the-wild deployment: (a) the decoding accuracy drops rapidly
under even modest screen extraction errors from the captured images, and (b)
they generate perceptible flickers on common refresh rate screens even with
minimal modulation of pixel intensity. To overcome these challenges, we
introduce DeepLight, a system that incorporates machine learning (ML) models in
the decoding pipeline to achieve humanly-imperceptible, moderately high SCC
rates under diverse real-world conditions. Deep-Light's key innovation is the
design of a Deep Neural Network (DNN) based decoder that collectively decodes
all the bits spatially encoded in a display frame, without attempting to
precisely isolate the pixels associated with each encoded bit. In addition,
DeepLight supports imperceptible encoding by selectively modulating the
intensity of only the Blue channel, and provides reasonably accurate screen
extraction (IoU values >= 83%) by using state-of-the-art object detection DNN
pipelines. We show that a fully functional DeepLight system is able to robustly
achieve high decoding accuracy (frame error rate < 0.2) and moderately-high
data goodput (>=0.95Kbps) using a human-held smartphone camera, even over
larger screen-camera distances (approx =2m).
- Abstract（参考訳）: 本稿では,スクリーン・カメラ・コミュニケーション(SCC)において,スクリーン上の映像コンテンツを視覚的に認識不能な方法で符号化し,そのような映像をキャプチャするカメラでデコードする手法を提案する。
まず,現在最先端の SCC 技術では,撮影画像からの画面抽出誤差でもデコード精度は急速に低下し,(b) 画素強度を最小限に調整しても,一般的なリフレッシュレート画面上で認識可能なフリックスを生成する。
これらの課題を克服するために、DeepLightは、機械学習(ML)モデルをデコードパイプラインに組み込んで、現実世界のさまざまな条件下で、人間には受け入れられず、適度に高いSCCレートを達成するシステムである。
deep-lightの重要なイノベーションは、ディープニューラルネットワーク(dnn)ベースのデコーダの設計であり、各エンコードされたビットに関連付けられたピクセルを正確に分離することなく、ディスプレイフレームに空間的にエンコードされたすべてのビットをまとめてデコードする。
さらに、DeepLightはブルーチャネルのみの強度を選択的に調整することで、認識不能なエンコーディングをサポートし、最先端のオブジェクト検出DNNパイプラインを使用して、合理的に正確なスクリーン抽出(IoU値>=83%)を提供する。
フル機能のDeepLightシステムでは,より大きなスクリーンカメラ距離(約2m)でも高い復号精度(フレームエラー率<0.2)と適度に高いデータ出力(==0.95Kbps)を実現することができることを示す。
関連論文リスト
- Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
画素レベルの画像・マルチビュー生成のための新しい手法を提案する。
従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。
本モデルにより,マルチビュー画像間の画素アライメントが向上する。
論文 参考訳（メタデータ） (2024-08-26T04:56:41Z) - When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [112.44822009714461]
CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。
復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。
TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
論文 参考訳（メタデータ） (2024-08-15T11:36:18Z) - SGE: Structured Light System Based on Gray Code with an Event Camera [9.701291540219026]
イベントベースの構造化光システムに初めてGrayコードを導入します。
提案手法は,最先端の走査法に匹敵する精度を実現する。
提案手法は, 超高速, リアルタイム, 高精度深度推定のための, 極めて有望な解を提供する。
論文 参考訳（メタデータ） (2024-03-12T05:20:44Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - A Novel Light Field Coding Scheme Based on Deep Belief Network &
Weighted Binary Images for Additive Layered Displays [0.30458514384586394]
積層光減衰層は、広い視野深度、広い視野角、高解像度の光界ディスプレイを実装するためのアプローチである。
本稿では,Deep Belief Network(DBN)と重み付きバイナリ画像を利用した光場表現と符号化のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-04T08:18:06Z) - Super-resolution image display using diffractive decoders [21.24387597787123]
大きな視野(FOV)上の画像の高分解能合成・投影は、波面変調器の制限された空間帯域積(SBP)によって妨げられる。
本稿では,電子エンコーダと光デコーダを併用した深層学習型回折ディスプレイの設計について報告する。
以上の結果から,この回折画像表示はSBPの16倍の増加を示す4の超解像係数を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-06-15T03:42:36Z) - A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。
このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。
8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
論文 参考訳（メタデータ） (2022-02-06T16:29:15Z) - Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。
本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-18T00:21:17Z) - Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent
Neural Network [14.796204921975733]
デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。
既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。
本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-09-11T14:24:44Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z) - ODE-CNN: Omnidirectional Depth Extension Networks [43.40308168978984]
本研究では,全方位カメラとキャリブレーションされた投影深度カメラを組み合わせた低コスト3Dセンシングシステムを提案する。
欠損した深度を正確に回復するために,一方向の深度拡張畳み込みニューラルネットワークを設計する。
ODE-CNNは、他の最先端(SoTA)手法よりもかなり優れている(相対的に33%の深度誤差の低減)。
論文 参考訳（メタデータ） (2020-07-03T03:14:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。