論文の概要: Side Eye: Characterizing the Limits of POV Acoustic Eavesdropping from Smartphone Cameras with Rolling Shutters and Movable Lenses

• arxiv url: http://arxiv.org/abs/2301.10056v1
• Date: Tue, 24 Jan 2023 15:00:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 13:26:49.061037
• Title: Side Eye: Characterizing the Limits of POV Acoustic Eavesdropping from Smartphone Cameras with Rolling Shutters and Movable Lenses
• Title（参考訳）: サイドアイ:転がりシャッターと可動レンズを用いたスマートフォンカメラからのPOV音響盗聴の限界を特徴づける
• Authors: Yan Long, Pirouz Naghavi, Blas Kojusner, Kevin Butler, Sara Rampazzi, Kevin Fu
• Abstract要約: スマートフォンカメラで広く見られるローリングシャッターと可動レンズ構造は、カメラ画像に構造が作用する音を変調する。 本研究は,スマートフォンカメラのPOVを乱す構造音による音響情報漏洩の限界を特徴づけるものである。
• 参考スコア（独自算出の注目度）: 6.227131280108784
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Our research discovers how the rolling shutter and movable lens structures widely found in smartphone cameras modulate structure-borne sounds onto camera images, creating a point-of-view (POV) optical-acoustic side channel for acoustic eavesdropping. The movement of smartphone camera hardware leaks acoustic information because images unwittingly modulate ambient sound as imperceptible distortions. Our experiments find that the side channel is further amplified by intrinsic behaviors of Complementary metal-oxide-semiconductor (CMOS) rolling shutters and movable lenses such as in Optical Image Stabilization (OIS) and Auto Focus (AF). Our paper characterizes the limits of acoustic information leakage caused by structure-borne sound that perturbs the POV of smartphone cameras. In contrast with traditional optical-acoustic eavesdropping on vibrating objects, this side channel requires no line of sight and no object within the camera's field of view (images of a ceiling suffice). Our experiments test the limits of this side channel with a novel signal processing pipeline that extracts and recognizes the leaked acoustic information. Our evaluation with 10 smartphones on a spoken digit dataset reports 80.66%, 91.28%, and 99.67% accuracies on recognizing 10 spoken digits, 20 speakers, and 2 genders respectively. We further systematically discuss the possible defense strategies and implementations. By modeling, measuring, and demonstrating the limits of acoustic eavesdropping from smartphone camera image streams, our contributions explain the physics-based causality and possible ways to reduce the threat on current and future devices.
• Abstract（参考訳）: スマートフォンカメラで広く見られるローリングシャッターと可動レンズ構造は, カメラ画像上の構造音を変調し, 音響盗聴のための光音響側チャネル(POV)を作成する。 スマートフォンのカメラのハードウェアの動きは、画像が周囲の音を無意識に変調するので、音響情報を漏洩する。 実験の結果, サイドチャネルは, 光画像安定化 (OIS) やオートフォーカス (AF) など, 相補的金属酸化物半導体 (CMOS) ローリングシャッターや可動レンズの固有の挙動により増幅されることがわかった。 本稿では,スマートフォンカメラのPOVを乱す構造音による音響情報漏洩の限界を特徴付ける。 振動する物体の従来の光音響盗聴とは対照的に、このサイドチャネルでは視線が不要で、カメラの視野内での物体(天井のサフィスを想像)は不要である。 本実験では, 漏洩した音響情報を抽出し, 認識する新しい信号処理パイプラインを用いて, サイドチャネルの限界を検証した。 音声数字データセット上の10のスマートフォンによる評価では、80.66%、91.28%、99.67%が、それぞれ10の音声桁、20の話者、2の性別を認識している。 さらに、防衛戦略と実装について体系的に議論する。 スマートフォンカメラ画像ストリームからの音響盗聴の限界をモデル化し、測定し、実証することにより、物理学に基づく因果関係と、現在および将来のデバイスに対する脅威を軽減する方法を説明する。

関連論文リスト

• CamLoPA: A Hidden Wireless Camera Localization Framework via Signal Propagation Path Analysis [59.86280992504629]
  CamLoPAは、トレーニング不要の無線カメラ検出およびローカライゼーションフレームワークである。 低コストの商用オフ・ザ・シェルフ(COTS)デバイスを使用して、最小限の活動空間制約で運用する。 95.37%のスヌーピングカメラ検出精度と17.23の平均位置誤差を達成する。
  論文  参考訳（メタデータ） (2024-09-23T16:23:50Z)
• A Self-Supervised Denoising Strategy for Underwater Acoustic Camera Imageries [3.0918473503782042]
  本稿では,深層学習技術を用いた音響カメラ画像の復調手法を提案する。 微細な特徴を保存しながらノイズを除去し、局所的な特徴マッチングの性能を向上させる。
  論文  参考訳（メタデータ） (2024-06-05T04:07:37Z)
• Thin On-Sensor Nanophotonic Array Cameras [36.981384762023794]
  本稿では,コモディティカメラの代替として,エフフラット型ナノフォトニクス計算カメラを紹介する。 光アレイは、700nmの高さで平らで、センサーから2.5mmの距離のセンサーカバーガラスの上に埋め込まれている。 提案手法では, 生成拡散モデルを用いて, 暗黙の先行画像のサンプル化を行い, 平面画像からメガピクセル画像の再構成を行う。
  論文  参考訳（メタデータ） (2023-08-05T06:04:07Z)
• NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection [50.33525966541906]
  既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。 NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。 我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
  論文  参考訳（メタデータ） (2023-06-12T06:06:05Z)
• Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks [55.81577205593956]
  イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度の変化を非同期に捉える。 深層学習(DL)はこの新興分野に導入され、その可能性のマイニングに活発な研究努力にインスピレーションを与えている。
  論文  参考訳（メタデータ） (2023-02-17T14:19:28Z)
• Single-shot ToF sensing with sub-mm precision using conventional CMOS sensors [7.114925332582435]
  動的物体の高精度な3次元計測を目的とした,新しい単発干渉計ToFカメラを提案する。 従来のToFカメラとは対照的に、当社のデバイスは市販のCCD/CMOS検出器のみを使用し、ネイティブチップの解像度で動作する。 我々は,2Mp点の雲の分解能を持つ小型(cmサイズの)物体の3次元計測を行い,その深さを2mm以下の精度で測定した。
  論文  参考訳（メタデータ） (2022-12-02T01:50:36Z)
• Private Eye: On the Limits of Textual Screen Peeking via Eyeglass Reflections in Video Conferencing [18.84055230013228]
  ビデオは参加者の画面上の情報をリークする。 本研究は, 数学的モデリングと人体実験を用いて, 出現するウェブカメラが認識可能なテキスト情報を漏洩する程度について検討する。 本研究は,多フレーム超解像技術を用いて,映像フレームのシーケンス上での光学的攻撃に基づく脅威モデルの検討と特徴付けを行う。
  論文  参考訳（メタデータ） (2022-05-08T23:29:13Z)
• Visual Acoustic Matching [92.91522122739845]
  本稿では,音声クリップがターゲット環境に録音されたような音に変換される視覚的音響マッチングタスクを提案する。 対象の環境の画像とソースオーディオの波形が与えられた場合、その視覚的幾何学や材料によって示唆されるように、ターゲットの部屋の音響と一致するように、オーディオを再合成することが目的である。
  論文  参考訳（メタデータ） (2022-02-14T17:05:22Z)
• Event Guided Depth Sensing [50.997474285910734]
  バイオインスパイアされたイベントカメラ駆動深度推定アルゴリズムを提案する。 提案手法では,イベントカメラが検出したシーン活動に応じて,関心領域を高密度に照明する。 シミュレーションされた自律運転シーケンスと実際の屋内環境におけるアプローチの実現可能性を示す。
  論文  参考訳（メタデータ） (2021-10-20T11:41:11Z)
• TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset [50.8779574716494]
  イベントカメラはバイオインスパイアされた視覚センサーで、ピクセルごとの明るさの変化を測定する。 これらは、低レイテンシ、高ダイナミックレンジ、高時間分解能、低消費電力など、従来のフレームベースのカメラよりも多くの利点を提供する。 イベントカメラを用いた3次元認識・ナビゲーションアルゴリズムの開発を促進するため,TUM-VIEデータセットを提案する。
  論文  参考訳（メタデータ） (2021-08-16T19:53:56Z)
• They See Me Rollin': Inherent Vulnerability of the Rolling Shutter in CMOS Image Sensors [21.5487020124302]
  カメラの電子回転シャッターを利用して微細な画像破壊を注入することができる。 敵がレーザーを変調して、最先端の検出器で認識される物体の75%を隠蔽する方法を示す。 以上の結果から,ローリングシャッター攻撃は視覚に基づくインテリジェントシステムの性能と信頼性を大幅に低下させる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-01-25T11:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。