論文の概要: DIME-Net: Neural Network-Based Dynamic Intrinsic Parameter Rectification
for Cameras with Optical Image Stabilization System
- arxiv url: http://arxiv.org/abs/2303.11307v1
- Date: Mon, 20 Mar 2023 17:45:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 14:14:13.778011
- Title: DIME-Net: Neural Network-Based Dynamic Intrinsic Parameter Rectification
for Cameras with Optical Image Stabilization System
- Title（参考訳）: DIME-Net:光画像安定化システムを用いたカメラのニューラルネットワークに基づく動的固有パラメータ整形
- Authors: Shu-Hao Yeh, Shuangyu Xie, Di Wang, Wei Yan, and Dezhen Song
- Abstract要約: 本稿では,ポーズ推定や3次元再構成をリアルタイムで行うニューラルネットワークによる新しい手法を提案する。
提案する動的内在性ポーズ推定ネットワークをDIME-Netと名付け,3つのモバイルデバイス上で実装およびテストを行った。
いずれの場合も、DIME-Netはリジェクションエラーを少なくとも6,4$%削減できる。
- 参考スコア（独自算出の注目度）: 16.390775530663618
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optical Image Stabilization (OIS) system in mobile devices reduces image
blurring by steering lens to compensate for hand jitters. However, OIS changes
intrinsic camera parameters (i.e. $\mathrm{K}$ matrix) dynamically which
hinders accurate camera pose estimation or 3D reconstruction. Here we propose a
novel neural network-based approach that estimates $\mathrm{K}$ matrix in
real-time so that pose estimation or scene reconstruction can be run at camera
native resolution for the highest accuracy on mobile devices. Our network
design takes gratified projection model discrepancy feature and 3D point
positions as inputs and employs a Multi-Layer Perceptron (MLP) to approximate
$f_{\mathrm{K}}$ manifold. We also design a unique training scheme for this
network by introducing a Back propagated PnP (BPnP) layer so that reprojection
error can be adopted as the loss function. The training process utilizes
precise calibration patterns for capturing accurate $f_{\mathrm{K}}$ manifold
but the trained network can be used anywhere. We name the proposed Dynamic
Intrinsic Manifold Estimation network as DIME-Net and have it implemented and
tested on three different mobile devices. In all cases, DIME-Net can reduce
reprojection error by at least $64\%$ indicating that our design is successful.
- Abstract（参考訳）: モバイル機器における光学画像安定化(OIS)システムは、ステアリングレンズによる画像ぼかしを低減し、手指のジッタを補償する。
しかし、OISは固有のカメラパラメータ(例えば$\mathrm{K}$ matrix)を動的に変更し、正確なカメラポーズ推定や3D再構成を妨げる。
本稿では,カメラネイティブ解像度でのポーズ推定やシーン再構成をモバイルデバイス上で最大精度で行えるように,リアルタイムに$\mathrm{K}$行列を推定するニューラルネットワークベースのアプローチを提案する。
提案するネットワーク設計では,3次元点位置を入力とし,Multi-Layer Perceptron(MLP)を用いて$f_{\mathrm{K}}$多様体を近似する。
また,バックプロパゲーションPnP(BPnP)層を導入して,損失関数として再射誤差を適用できるように,このネットワークのユニークなトレーニング手法を設計する。
トレーニングプロセスは正確なキャリブレーションパターンを使用して正確な$f_{\mathrm{K}}$ manifoldをキャプチャするが、トレーニングされたネットワークはどこでも使用できる。
提案する動的内在的マニフォールド推定ネットワークをDIME-Netと呼び,3つのモバイルデバイス上で実装およびテストを行った。
いずれの場合も、DIME-Netはリジェクションエラーを少なくとも6,4\%のコストで削減できる。
関連論文リスト
- No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - Camera Calibration through Geometric Constraints from Rotation and
Projection Matrices [4.100632594106989]
本稿では,カメラの内在的・外在的パラメータを測定するための制約に基づく新たな損失を提案する。
我々の手法は、ニューラルネットワークの学習能力を利用して、望ましいパラメータを推定するハイブリッドアプローチである。
提案手法は,最新のSOTA(State-of-the-art)ベンチマークと比較して,全パラメータにまたがる改善を示す。
論文 参考訳（メタデータ） (2024-02-13T13:07:34Z) - DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using
Single-View Depth and Gradient Predictions [22.243043857097582]
DeepFusionは、GPU上でリアルタイムに高密度な再構成を生成することができる。
半密度多視点ステレオアルゴリズムの出力とCNNの深さと予測を確率的に融合する。
合成および実世界のデータセットのパフォーマンスに基づいて、DeepFusionは、少なくとも他の同等のシステムと同様に、実行可能であることを実証する。
論文 参考訳（メタデータ） (2022-07-25T14:55:26Z) - Camera Calibration through Camera Projection Loss [4.36572039512405]
画像対を用いた固有(焦点長と主点オフセット)パラメータの予測手法を提案する。
従来の手法とは違って,マルチタスク学習フレームワークにおいて,カメラモデル方程式をニューラルネットワークとして組み込んだ新しい表現を提案する。
提案手法は,10パラメータ中7パラメータに対して,ディープラーニングと従来手法の両方に対して,優れた性能を実現する。
論文 参考訳（メタデータ） (2021-10-07T14:03:10Z) - Unsupervised Depth Completion with Calibrated Backprojection Layers [79.35651668390496]
画像とスパース点雲から深度を推定するディープニューラルネットワークアーキテクチャを提案する。
LIDARや他のレンジセンサーから得られるビデオストリームとそれに対応するスパース点雲と、カメラの固有のキャリブレーションパラメータを用いてトレーニングする。
推論時に、トレーニングに用いるものと異なるカメラの校正を、スパース点雲と1つの画像とともにネットワークへの入力として行う。
論文 参考訳（メタデータ） (2021-08-24T05:41:59Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳（メタデータ） (2021-07-08T15:19:36Z) - Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。
以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
論文 参考訳（メタデータ） (2021-04-21T00:35:32Z) - PCLs: Geometry-aware Neural Reconstruction of 3D Pose with Perspective
Crop Layers [111.55817466296402]
我々は、カメラ幾何学に基づく関心領域の視点作物であるパースペクティブ・クロップ・レイヤ(PCL)を紹介する。
PCLは、エンドツーエンドのトレーニングと基礎となるニューラルネットワークのパラメータ数を残しながら、位置依存的な視点効果を決定論的に除去する。
PCLは、既存の3D再構成ネットワークを幾何学的に認識することで、容易に精度を向上させる手段を提供する。
論文 参考訳（メタデータ） (2020-11-27T08:48:43Z) - Disp R-CNN: Stereo 3D Object Detection via Shape Prior Guided Instance
Disparity Estimation [51.17232267143098]
ステレオ画像から3次元物体を検出するための新しいシステムDisp R-CNNを提案する。
我々は、LiDAR点雲を必要とせずに、統計的形状モデルを用いて、密度の異なる擬似地下構造を生成する。
KITTIデータセットの実験によると、LiDARの基盤構造がトレーニング時に利用できない場合でも、Disp R-CNNは競争性能を達成し、平均精度で従来の最先端手法を20%上回っている。
論文 参考訳（メタデータ） (2020-04-07T17:48:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。