論文の概要: DeepOIS: Gyroscope-Guided Deep Optical Image Stabilizer Compensation

• arxiv url: http://arxiv.org/abs/2101.11183v1
• Date: Wed, 27 Jan 2021 03:23:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 19:38:08.179487
• Title: DeepOIS: Gyroscope-Guided Deep Optical Image Stabilizer Compensation
• Title（参考訳）: deepois:ジャイロスコープ誘導深部光学画像安定化装置
• Authors: Haipeng Li, Shuaicheng Liu, Jue Wang
• Abstract要約: モバイルで撮影された画像はジャイロスコープセンサーを使ってアライメントすることができる。 光画像安定化装置(OIS)は、撮影中に画像を調整することで、この可能性を終わらせる。 我々は,OISカメラ上でジャイロスコープが画像アライメントに使用されるように,OISが引き起こす動きを補償するディープネットワークを提案する。
• 参考スコア（独自算出の注目度）: 17.131949354307014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile captured images can be aligned using their gyroscope sensors. Optical image stabilizer (OIS) terminates this possibility by adjusting the images during the capturing. In this work, we propose a deep network that compensates the motions caused by the OIS, such that the gyroscopes can be used for image alignment on the OIS cameras. To achieve this, first, we record both videos and gyroscopes with an OIS camera as training data. Then, we convert gyroscope readings into motion fields. Second, we propose a Fundamental Mixtures motion model for rolling shutter cameras, where an array of rotations within a frame are extracted as the ground-truth guidance. Third, we train a convolutional neural network with gyroscope motions as input to compensate for the OIS motion. Once finished, the compensation network can be applied for other scenes, where the image alignment is purely based on gyroscopes with no need for images contents, delivering strong robustness. Experiments show that our results are comparable with that of non-OIS cameras, and outperform image-based alignment results with a relatively large margin.
• Abstract（参考訳）: モバイルキャプチャ画像はジャイロスコープセンサーを使用して並べ替えることができます。 光画像安定化装置(OIS)は、撮影中に画像を調整することで、この可能性を終わらせる。 本研究では,OISカメラの映像アライメントにジャイロスコープを使用できるように,OISが引き起こす動きを補償するディープネットワークを提案する。 そのためには、まずビデオとジャイロスコープの両方をOISカメラでトレーニングデータとして記録します。 次にジャイロスコープの読みを運動場に変換する。 第2に, ローリングシャッターカメラにおいて, フレーム内回転の配列を接地ガイドとして抽出する基本混合運動モデルを提案する。 第3に, ジャイロスコープ動作を入力として畳み込みニューラルネットワークをトレーニングし, OIS動作を補償する。 完了すると、補正ネットワークを他のシーンに適用することができ、画像のアライメントは、画像コンテンツを必要としないジャイロスコープに基づいており、強い堅牢性を提供します。 実験の結果は,OIS以外のカメラと同等であり,画像ベースアライメントの精度は比較的高いことがわかった。

関連論文リスト

• Toward Efficient Visual Gyroscopes: Spherical Moments, Harmonics Filtering, and Masking Techniques for Spherical Camera Applications [83.8743080143778]
  視覚ジャイロスコープは、画像を通してカメラの回転を推定する。 従来のRGBカメラに比べて視野が広い全方位カメラの統合は、より正確で堅牢な結果をもたらすことが証明されている。 本稿では,効率的なマルチマスク・フィルタ回転エステータと学習に基づく最適化を組み合わせた,新しい視覚ジャイロスコープを導入することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-04-02T13:19:06Z)
• Gyro-based Neural Single Image Deblurring [25.97417586599356]
  本稿では,ジャイロセンサを用いて画像劣化の悪さを解消する単一画像除去手法を提案する。 GyroDeblurNetは、ジャイロ精製ブロックとジャイロ分解ブロックという、2つの新しいニューラルネットワークブロックを備えている。 提案手法は, 誤ジャイロデータを有効利用することにより, 最先端の劣化品質を実現することを実証した。
  論文  参考訳（メタデータ） (2024-04-01T04:43:45Z)
• Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a Light-Weight ToF Sensor [58.305341034419136]
  単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。 本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。 実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-28T07:56:13Z)
• GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical Flow Learning [43.87584329959394]
  既存のホモグラフィーと光学フロー法は、挑戦的なシーンでは誤っている。 我々はジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。 本手法は,レギュラーシーンと挑戦シーンの両方において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2023-01-23T13:44:15Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Deep Rotation Correction without Angle Prior [57.76737888499145]
  我々は,高コンテンツ忠実度で傾きを自動的に補正する,回転補正という新しい実用的タスクを提案する。 このタスクは画像編集アプリケーションに簡単に統合でき、ユーザーは手動操作なしで回転した画像を修正できる。 我々はニューラルネットワークを利用して、傾斜した画像を知覚的に水平に歪めることができる光学フローを予測する。
  論文  参考訳（メタデータ） (2022-07-07T02:46:27Z)
• RADNet: A Deep Neural Network Model for Robust Perception in Moving Autonomous Systems [8.706086688708014]
  我々は,グローバルカメラの動きの度合いに基づいて,映像のランク付けを行う新しいランキング手法を開発した。 上位のカメラビデオでは、アクション検出の精度が低下している。 本稿では,カメラの動作効果に頑健な動作検出パイプラインを提案し,それを実証的に検証する。
  論文  参考訳（メタデータ） (2022-04-30T23:14:08Z)
• Pyramid Feature Alignment Network for Video Deblurring [63.26197177542422]
  ビデオの劣化は、さまざまな原因がぼやけているため、難しい課題だ。 従来の方法では、隣接するフレームを単一スケールのアライメントで修復する方法が検討されてきた。 本稿では,映像デブリのためのピラミッド特徴アライメントネットワーク(PFAN)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T07:54:21Z)
• Enhanced Frame and Event-Based Simulator and Event-Based Video Interpolation Network [1.4095425725284465]
  固定オフセットに任意の数のセンサを配置したカメラリグによって記録されたリアルなシーンを生成できる,新しい高度なイベントシミュレータを提案する。 これには、現実的な画質低下効果を持つフレームベースの新しいイメージセンサモデルと、より正確な特性を持つ拡張DVSモデルが含まれる。 我々のシミュレータによって生成されたデータは、我々の新しいモデルをトレーニングするために利用でき、その結果、アートの状況よりも同等またはより良い品質の公開データセット上の再構成画像が生成される。
  論文  参考訳（メタデータ） (2021-12-17T08:27:13Z)
• Minimal Solutions for Panoramic Stitching Given Gravity Prior [53.047330182598124]
  我々は,光学中心が一致するカメラで撮影した画像のパノラマ画像縫合に対する最小限の解を提案する。 固定長や焦点距離の変動を視線歪みの有無で仮定し, 4つの実用的なカメラ構成について検討した。 シンセサイザーは、合成シーンと、Sun360データセットから500万枚以上の実画像のペアと、IMUを搭載した2台のスマートフォンを使って、私たちによって撮影されたシーンの両方でテストされる。
  論文  参考訳（メタデータ） (2020-12-01T13:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。