論文の概要: Pixel-wise Smoothing for Certified Robustness against Camera Motion
Perturbations
- arxiv url: http://arxiv.org/abs/2309.13150v1
- Date: Fri, 22 Sep 2023 19:15:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 21:52:31.073690
- Title: Pixel-wise Smoothing for Certified Robustness against Camera Motion
Perturbations
- Title(参考訳): カメラ動作障害に対する認証ロバストネスのための画素ワイズ平滑化
- Authors: Hanjiang Hu, Zuxin Liu, Linyi Li, Jiacheng Zhu, Ding Zhao
- Abstract要約: 本稿では,3D-2Dプロジェクティブ・トランスフォーメーションのロバスト性を証明するための,新しい,効率的かつ実用的なフレームワークを提案する。
我々は3次元物理空間ではなく2次元ピクセル空間上の滑らかな分布を活用し、高価なカメラモーションサンプリングの必要性を排除した。
提案手法は,約80%の精度を達成し,投影された画像フレームの30%しか利用していない。
- 参考スコア(独自算出の注目度): 45.576866560987405
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent years, computer vision has made remarkable advancements in
autonomous driving and robotics. However, it has been observed that deep
learning-based visual perception models lack robustness when faced with camera
motion perturbations. The current certification process for assessing
robustness is costly and time-consuming due to the extensive number of image
projections required for Monte Carlo sampling in the 3D camera motion space. To
address these challenges, we present a novel, efficient, and practical
framework for certifying the robustness of 3D-2D projective transformations
against camera motion perturbations. Our approach leverages a smoothing
distribution over the 2D pixel space instead of in the 3D physical space,
eliminating the need for costly camera motion sampling and significantly
enhancing the efficiency of robustness certifications. With the pixel-wise
smoothed classifier, we are able to fully upper bound the projection errors
using a technique of uniform partitioning in camera motion space. Additionally,
we extend our certification framework to a more general scenario where only a
single-frame point cloud is required in the projection oracle. This is achieved
by deriving Lipschitz-based approximated partition intervals. Through extensive
experimentation, we validate the trade-off between effectiveness and efficiency
enabled by our proposed method. Remarkably, our approach achieves approximately
80% certified accuracy while utilizing only 30% of the projected image frames.
- Abstract(参考訳): 近年、コンピュータビジョンは自動運転とロボティクスにおいて顕著な進歩を遂げている。
しかし、深層学習に基づく視覚知覚モデルでは、カメラの動き摂動に直面すると頑健性が欠如していることが観察されている。
現在、ロバスト性を評価するための認証プロセスは、モンテカルロの3Dカメラモーション空間でのサンプリングに必要な画像投影の膨大な数のためにコストと時間を要する。
これらの課題に対処するために,3d-2d投影変換のロバスト性を検証するための新しい,効率的かつ実用的な枠組みを提案する。
提案手法では,3次元空間ではなく2次元画素空間上の平滑化分布を活用し,高コストのカメラモーションサンプリングを不要とし,ロバスト性認証の効率を大幅に向上させる。
画素単位の平滑化分類器では、カメラの動き空間の均一なパーティショニング技術を用いて投影誤差を完全に上界できる。
さらに私たちは認証フレームワークを,oracleのプロジェクションに単一フレームのポイントクラウドのみが必要な,より一般的なシナリオに拡張しています。
これはリプシッツに基づく近似分割区間の導出によって達成される。
実験により,提案手法の有効性と効率のトレードオフを検証した。
また,提案手法は画像フレームの30%しか利用せず,約80%の精度を達成している。
関連論文リスト
- Neural Real-Time Recalibration for Infrared Multi-Camera Systems [2.249916681499244]
赤外線マルチカメラシステムのリアルタイム再校正には、学習のない、あるいはニューラルネットワーク技術は存在しない。
動的リアルタイムキャリブレーションが可能なニューラルネットワークに基づく手法を提案する。
論文 参考訳(メタデータ) (2024-10-18T14:37:37Z) - SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。
この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。
3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
論文 参考訳(メタデータ) (2024-04-05T17:59:25Z) - VICAN: Very Efficient Calibration Algorithm for Large Camera Networks [49.17165360280794]
ポースグラフ最適化手法を拡張する新しい手法を提案する。
我々は、カメラを含む二部グラフ、オブジェクトの動的進化、各ステップにおけるカメラオブジェクト間の相対変換について考察する。
我々のフレームワークは従来のPGOソルバとの互換性を維持しているが、その有効性はカスタマイズされた最適化方式の恩恵を受けている。
論文 参考訳(メタデータ) (2024-03-25T17:47:03Z) - Joint 3D Shape and Motion Estimation from Rolling Shutter Light-Field
Images [2.0277446818410994]
本研究では,ローリングシャッターセンサを備えた光界カメラで撮影した1枚の画像からシーンを3次元再構成する手法を提案する。
本手法は、光場に存在する3次元情報キューと、ローリングシャッター効果によって提供される動き情報を利用する。
本稿では,このセンサの撮像プロセスの汎用モデルと再投射誤差を最小化する2段階アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-02T15:08:18Z) - Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter
Correction [54.00007868515432]
既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。
本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。
提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
論文 参考訳(メタデータ) (2023-03-31T15:09:18Z) - Robustness Certification of Visual Perception Models via Camera Motion
Smoothing [23.5329905995857]
カメラモーションの摂動下での視覚知覚モデルのロバスト性について検討し、カメラモーションがロボット知覚に与える影響について検討する。
本稿では,任意の画像分類モデルに対する動き平滑化手法を提案する。
我々は,カメラの動乱に対する運動平滑化による認証手法の検証のために,広範囲にわたる実験を行った。
論文 参考訳(メタデータ) (2022-10-04T15:31:57Z) - Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred
Objects in Videos [115.71874459429381]
本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。
提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-29T11:25:14Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z) - Learning Precise 3D Manipulation from Multiple Uncalibrated Cameras [13.24490469380487]
本稿では,3次元な精密な操作タスクをエンド・ツー・エンドで学習するための効果的なマルチビュー手法を提案する。
提案手法は,ポイントクラウドやボクセルグリッドのような明示的な3D表現を構築することなく,静的に配置された複数のRGBカメラビューを用いて,これらのタスクを達成できることを学習する。
論文 参考訳(メタデータ) (2020-02-21T03:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。