論文の概要: Empirical Evaluation of Multi-Modal Touch Detection in Over-the-Shoulder Video Surveillance
- arxiv url: http://arxiv.org/abs/2606.29504v1
- Date: Sun, 28 Jun 2026 17:05:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.945042
- Title: Empirical Evaluation of Multi-Modal Touch Detection in Over-the-Shoulder Video Surveillance
- Title（参考訳）: オーバー・ザ・ショルダー映像サーベイランスにおけるマルチモーダルタッチ検出の実証評価
- Abstract要約: キーパッドインタフェース上のキーストロークイベントを物理的操作から再構築するフレームワークの評価を行った。
我々は、相対的なタッチ座標を基準画面レイアウトにマッピングし、タイピングシーケンスを再構築する。
我々は,システムの動作エンベロープを特徴付けるため,アブレーション,分解能劣化,ノイズ感度,近接しきい値調整を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video Intelligence Surveillance (VIDINT) on over-the-shoulder footage is a proposed vector for monitoring human-computer interaction patterns without direct screen recording access. In this paper, we evaluate a Behavioral Intelligence (BEHINT) touch-detection framework designed to reconstruct keystroke events on mobile keypad interfaces from physical finger interactions. Our system integrates four parallel detection modalities: (1) anatomical hand landmarks via MediaPipe, (2) HSV skin color filtering, (3) temporal frame differencing for motion detection, and (4) shape-guided Canny edge analysis. We map relative touch coordinates to a reference screen layout to reconstruct typing sequences. Evaluation on a 120-frame first-person staged video of passcode entry reveals that while MediaPipe and Skin Detection fail to run autonomously due to partial hand occlusion and ambient noise, Motion-Only and Edge-Only configurations achieve F1-scores of 18.5% and 18.2%, respectively. The combined multi-modal configuration achieves an F1-score of 16.7% and a sequence similarity of 3.0% when mapped to the iOS passcode layout. We conduct ablation, resolution decay, noise sensitivity, and proximity threshold tuning to characterize the system's operational envelope. We then audit generalization on 5 real, publicly licensed third-person phone videos and find that the detector emits a median of 57 touch points per frame (peaking at 205), one to three orders of magnitude more than the rate of real taps, because the skin filter responds to the whole hand rather than to fingertip contact. The staged keystroke result does not survive contact with uncontrolled footage; the system does not achieve reliable keystroke reconstruction outside the calibrated staged setting.
- Abstract（参考訳）: ビデオインテリジェンス監視(VIDINT, Video Intelligence Surveillance)は、直接スクリーン記録アクセスなしで人間とコンピュータのインタラクションパターンをモニタリングするためのベクトルである。
本稿では,キーパッドインタフェース上のキーストロークイベントを物理的操作から再構築するための行動知能(BEHINT)タッチ検出フレームワークの評価を行う。
本システムでは,(1)MediaPipeによる解剖学的手目印,(2)HSV皮膚色フィルタ,(3)動作検出のための時間的フレーム差,(4)形状誘導カニーエッジ解析の4つの並列検出モードを統合した。
我々は、相対的なタッチ座標を基準画面レイアウトにマッピングし、タイピングシーケンスを再構築する。
120フレームの1人1人目のパスコードエントリのビデオの評価では、MediaPipeとSkin Detectionは部分的な手閉塞と周囲のノイズのために自律的に動作しないが、Motion-OnlyとEdge-Onlyの設定はそれぞれ18.5%と18.2%のF1スコアを達成する。
複合マルチモーダル構成により、F1スコアは16.7%、シーケンスの類似度はiOSのパスコードレイアウトにマッピングされると3.0%となる。
我々は,システムの動作エンベロープを特徴付けるため,アブレーション,分解能劣化,ノイズ感度,近接しきい値調整を行う。
次に、実写で公開されている3人目の携帯電話ビデオの一般化を監査し、検知器が1フレームあたり57タッチポイントの中央値(205点)を出力していることを発見した。
ステージ化されたキーストロークの結果は、制御されていない映像との接触に耐えられず、システムは調整されたステージ化設定の外で、信頼性の高いキーストローク再構成を達成できない。
関連論文リスト
- Robust Slip Detection and Material Classification via Spatiotemporal Transformers on a Uniformly-Illuminated Visuo-Tactile Sensor [52.33204893988409]
本稿では,一様照明をカスタマイズした視覚触覚センサと統合認識フレームワークを提案する。
提案するハードウェア・ソフトウェア・フレームワークは、複雑なロボット操作のための高忠実度フィードバックと強力なマルチモーダル認識ベースラインを提供する。
論文 参考訳（メタデータ） (2026-08-25T07:25:27Z) - KineFuse: Kinematic-Aware Haptic Fusion for In-Hand Occluded-Object Pose Tracking [18.013999575547427]
手で操作するには連続した6Dポーズトラッキングが必要だが、操作する指は必然的にカメラから物体を遮蔽する。
本研究は,多指ハンドで既に利用可能な疎発性触覚信号のプロセプション,近位力/トルク,二指接触などの構造について検討する。
キネマティック・アウェア・フィンガーレベル・エンコーダを提案し、3段階評価により4つの代替設計と体系的に比較する。
論文 参考訳（メタデータ） (2026-07-16T11:07:47Z) - Mobile UMI: Cross-View Diffusion Policy with Decoupled Kinematics for Mobile Manipulation [4.311650365696827]
最近の手首搭載インタフェースはテーブルトップデータ収集のコストを下げるが、単一の手首ビューはベースナビゲーションに必要なグローバルなコンテキストを捉えない。
生成ポリシーは数百ミリ秒の推論遅延を導入します。
本稿では,3つのコンポーネント間のギャップに対処するハードウェアフリーなデモフレームワークであるMobile UMIを提案する。
論文 参考訳（メタデータ） (2026-05-20T08:33:53Z) - Selfie-Capture Dynamics as an Auxiliary Signal Against Deepfakes and Injection Attacks for Mobile Identity Verification [4.2958409172092225]
モバイルリモートID認証(RIdV)システムは、顔のビデオストリームを操作または置換する攻撃にさらされる。
ETSI TS 119 461 や CEN/TS 18099 といったヨーロッパの近年の要求は、カメラベースのプレゼンテーション攻撃検出以上の補完的なエビデンスチャネルを動機付けている。
本稿では,自撮り撮影中に記録された受動運動軌跡が,スプーフスクリーニングとユーザ検証の補助的証拠となるかどうかを検討する。
論文 参考訳（メタデータ） (2026-04-30T20:46:18Z) - QUACK! Making the (Rubber) Ducky Talk: A Systematic Study of Keystroke Dynamics for HID Injection Detection [60.105690843777666]
我々は、タイミング機能のみで動作する軽量モデルを使用して、堅牢でプライバシー保護の検知が達成可能であることを示す。
分析の結果,攻撃者の高度化は単調に回避を改善できないことが明らかとなった。
論文 参考訳（メタデータ） (2026-04-17T08:53:24Z) - Design and Validation of a Lightweight 1D CNN for Affective Touch Classification in Soft Plush Companions [59.49967357689445]
ソフトなセンサー付きコンパニオンは、社会的支援技術のための物理的に安全で感情的に直感的なインターフェースを提供する。
本研究では,ソフト・インタラクティブ・コンパニオンにおける感情的触覚認識のためのディープラーニングモデルの開発と検証を目的とした,オープンソースで拡張されたリアルタイムフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-16T10:20:05Z) - Interpretable Human Activity Recognition for Subtle Robbery Detection in Surveillance Videos [0.0]
非暴力的なストリート強盗(スナッチ・アンド・ラン)は、簡潔で微妙で、しばしば良心的な人間との相互作用と区別できないため、自動的に検出することは困難である。
本稿では,リアルタイム認識と解釈可能な分類段階を組み合わせた,スナッチ・アンド・ランイベントのハイブリッド・ポーズ駆動による検出手法を提案する。
論文 参考訳（メタデータ） (2026-04-15T18:37:28Z) - COVTrack++: Learning Open-Vocabulary Multi-Object Tracking from Continuous Videos via a Synergistic Paradigm [59.26203051651017]
C-TAOはOpen-Vocabulary Multi-Object Tracking (OVMOT)のための最初の連続アノテーション付きトレーニングセットである
フレームワークボトルネックに対するCOVTrack++は,3つのモジュールによる検出とアソシエーションの双方向相互機構を実現するための相乗的フレームワークである。
TAOの実験では、新しいTAAは検証とテストセットで35.4%、30.5%に達し、新しいAssocAは4.8%、新しいLocAは5.8%向上した。
論文 参考訳（メタデータ） (2026-03-25T07:20:27Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳（メタデータ） (2025-12-18T18:18:17Z) - TouchInsight: Uncertainty-aware Rapid Touch and Text Input for Mixed Reality from Egocentric Vision [25.271209425555906]
任意の物理的表面上の10本の指すべてからタッチ入力を検出するリアルタイムパイプラインを提案する。
筆者らのTouchInsightは,タッチイベントの瞬間,指の接触,タッチ位置を予測するニューラルネットワークを備える。
論文 参考訳（メタデータ） (2024-10-08T11:42:44Z) - Mobile Behavioral Biometrics for Passive Authentication [65.94403066225384]
本研究は, 単モーダルおよび多モーダルな行動的生体特性の比較分析を行った。
HuMIdbは、最大かつ最も包括的なモバイルユーザインタラクションデータベースである。
我々の実験では、最も識別可能な背景センサーは磁力計であり、タッチタスクではキーストロークで最良の結果が得られる。
論文 参考訳（メタデータ） (2022-03-14T17:05:59Z) - HighlightMe: Detecting Highlights from Human-Centric Videos [52.84233165201391]
我々は,人間中心のビデオからハイライト可能な抜粋を検出するために,ドメインとユーザに依存しないアプローチを提案する。
本研究では,時空間グラフ畳み込みを用いたオートエンコーダネットワークを用いて,人間の活動やインタラクションを検出する。
我々は,最先端の手法に比べて,人手によるハイライトのマッチングの平均精度が4～12%向上したことを観察した。
論文 参考訳（メタデータ） (2021-10-05T01:18:15Z) - Activity Recognition with Moving Cameras and Few Training Examples:
Applications for Detection of Autism-Related Headbanging [1.603589863010401]
行動認識コンピュータビジョンアルゴリズムは、自閉症に関連する行動の存在を検出するために使用できる。
ヘッドバンジ検出に適用した場合のアクティビティ認識における現在の特徴表現技術の利点と限界を文書化します。
時間分散畳み込みニューラルネットワークを用いて,ホームビデオのヘッドバンジを検出するコンピュータビジョン分類器を作成する。
論文 参考訳（メタデータ） (2021-01-10T05:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。