論文の概要: Privacy-Enhancing Optical Embeddings for Lensless Classification
- arxiv url: http://arxiv.org/abs/2211.12864v1
- Date: Wed, 23 Nov 2022 11:12:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 15:58:38.778992
- Title: Privacy-Enhancing Optical Embeddings for Lensless Classification
- Title（参考訳）: レンズレス分類のためのプライバシエンハンシング光学埋め込み
- Authors: Eric Bezzam, Martin Vetterli, Matthieu Simeoni
- Abstract要約: 私たちは、低価格のLCDとRaspberry Piコンポーネントからプロトタイプを作り、合計で約100USDのコストで開発しています。
提案手法は, 変動マスクパターンを用いて, システムに逆らおうとする敵を阻止する方法を示す。
- 参考スコア（独自算出の注目度）: 17.169529483306103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lensless imaging can provide visual privacy due to the highly multiplexed
characteristic of its measurements. However, this alone is a weak form of
security, as various adversarial attacks can be designed to invert the
one-to-many scene mapping of such cameras. In this work, we enhance the privacy
provided by lensless imaging by (1) downsampling at the sensor and (2) using a
programmable mask with variable patterns as our optical encoder. We build a
prototype from a low-cost LCD and Raspberry Pi components, for a total cost of
around 100 USD. This very low price point allows our system to be deployed and
leveraged in a broad range of applications. In our experiments, we first
demonstrate the viability and reconfigurability of our system by applying it to
various classification tasks: MNIST, CelebA (face attributes), and CIFAR10. By
jointly optimizing the mask pattern and a digital classifier in an end-to-end
fashion, low-dimensional, privacy-enhancing embeddings are learned directly at
the sensor. Secondly, we show how the proposed system, through variable mask
patterns, can thwart adversaries that attempt to invert the system (1) via
plaintext attacks or (2) in the event of camera parameters leaks. We
demonstrate the defense of our system to both risks, with 55% and 26% drops in
image quality metrics for attacks based on model-based convex optimization and
generative neural networks respectively. We open-source a wave propagation and
camera simulator needed for end-to-end optimization, the training software, and
a library for interfacing with the camera.
- Abstract（参考訳）: レンズレスイメージングは、その測定の高度に多重化された特性のために、視覚プライバシを提供することができる。
しかし、このようなカメラの1対多のシーンマッピングを逆転するように様々な敵攻撃を設計できるため、これはセキュリティの弱い形態である。
本研究では,(1)センサでのダウンサンプリング,(2)光エンコーダとして可変パターンのプログラム可能なマスクを用いて,レンズレス撮像によるプライバシー向上を図る。
私たちは、低価格のLCDとRaspberry Piコンポーネントからプロトタイプを作り、合計で約100USDのコストで開発しています。
この非常に低い価格設定により、私たちのシステムは広範囲のアプリケーションにデプロイされ、活用できます。
本実験では,MNIST, CelebA(顔属性), CIFAR10 といった様々な分類タスクに適用することで, システムの可視性と再構成性を示す。
マスクパターンとデジタル分類器をエンドツーエンドで共同最適化することにより、センサに直接低次元のプライバシー強調埋め込みを学習する。
第2に,提案システムでは,変動マスクパターンを介して,(1)平文攻撃や(2)カメラパラメータのリーク時にシステムに逆戻りしようとする敵を阻止する方法について述べる。
我々は,モデルに基づく凸最適化と生成ニューラルネットワークに基づく攻撃に対して,画像品質指標の55%と26%の低下という,両リスクに対するシステムの防御効果を示す。
我々は、エンドツーエンドの最適化に必要な波動伝搬とカメラシミュレータ、トレーニングソフトウェア、カメラと対話するためのライブラリをオープンソース化した。
関連論文リスト
- Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。
カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。
IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
論文 参考訳（メタデータ） (2024-09-11T08:36:49Z) - LenslessFace: An End-to-End Optimized Lensless System for Privacy-Preserving Face Verification [20.13507070548287]
レンズレスカメラは光を直接センサーにエンコードし、すぐに認識できない画像を生成する。
本稿では、符号化レンズレスキャプチャー上で直接、プライバシー保護顔認証のためのエンドツーエンド最適化手法を提案する。
論文 参考訳（メタデータ） (2024-06-06T14:50:15Z) - MC-NeRF: Multi-Camera Neural Radiance Fields for Multi-Camera Image Acquisition Systems [22.494866649536018]
ニューラル・ラジアンス・フィールド(NeRF)は3次元シーン表現にマルチビュー・イメージを使用し、顕著な性能を示す。
以前のNeRFベースの手法のほとんどは、ユニークなカメラを前提としており、マルチカメラのシナリオをめったに考慮していない。
提案するMC-NeRFは,内在パラメータと外在パラメータの両方を,NeRFと併用して共同最適化する手法である。
論文 参考訳（メタデータ） (2023-09-14T16:40:44Z) - Human-imperceptible, Machine-recognizable Images [76.01951148048603]
より良い開発AIシステムと、センシティブなトレーニングデータから距離を置くことの間の、ソフトウェアエンジニアに関する大きな対立が露呈している。
画像が暗号化され、人間に認識され、機械に認識される」という、効率的なプライバシー保護学習パラダイムを提案する。
提案手法は,機械が認識可能な情報を保存しながら,暗号化された画像が人間に認識されなくなることを保証できることを示す。
論文 参考訳（メタデータ） (2023-06-06T13:41:37Z) - Learning rich optical embeddings for privacy-preserving lensless image
classification [17.169529483306103]
我々は、光学系をエンコーダとしてキャストするユニークな多重化特性を利用して、カメラセンサーに直接学習した埋め込みを生成する。
画像分類の文脈では、エンコーダのパラメータと画像分類器のパラメータをエンドツーエンドで共同で最適化する。
我々の実験は、レンズレス光エンコーダとデジタル処理を共同で学習することで、センサーに低解像度の埋め込みが可能であることを示し、その結果、これらの測定から有意義な画像の復元がはるかに困難であることから、プライバシーが向上することを示している。
論文 参考訳（メタデータ） (2022-06-03T07:38:09Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:05:47Z) - ConvMAE: Masked Convolution Meets Masked Autoencoders [65.15953258300958]
機能事前トレーニングとマルチスケールハイブリッド畳み込み変換アーキテクチャのためのマスク付き自動エンコーディングは、ViTの可能性をさらに解き放つことができる。
我々のConvMAEフレームワークは、マスクの自動符号化方式により、マルチスケールのハイブリッド畳み込み変換器がより識別的な表現を学習できることを実証している。
事前訓練したConvMAEモデルに基づいて、ConvMAE-Baseは画像Net-1Kの微調整精度をMAE-Baseと比較して1.4%改善する。
論文 参考訳（メタデータ） (2022-05-08T15:12:19Z) - Time-Multiplexed Coded Aperture Imaging: Learned Coded Aperture and
Pixel Exposures for Compressive Imaging Systems [56.154190098338965]
提案した時間多重符号化開口(TMCA)をエンドツーエンドで最適化できることを示した。
tmcaは圧縮光野イメージングとハイパースペクトルイメージングの2つの異なる応用において、より良いコード化されたスナップショットを誘導する。
この凝固法は、最先端の圧縮画像システムよりも4dB以上性能が高い。
論文 参考訳（メタデータ） (2021-04-06T22:42:34Z) - Adversarial Imaging Pipelines [28.178120782659878]
我々は、特定のカメラISPを騙し、他のISPをそのままにしておく攻撃を開発する。
最新の自動車用ハードウェアISPを用いて提案手法を検証する。
論文 参考訳（メタデータ） (2021-02-07T06:10:54Z) - Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。
Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。
本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
論文 参考訳（メタデータ） (2020-07-30T09:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。