論文の概要: The Implicit Values of A Good Hand Shake: Handheld Multi-Frame Neural Depth Refinement

• arxiv url: http://arxiv.org/abs/2111.13738v1
• Date: Fri, 26 Nov 2021 20:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 17:13:59.889779
• Title: The Implicit Values of A Good Hand Shake: Handheld Multi-Frame Neural Depth Refinement
• Title（参考訳）: ハンドハンドシェイクの入射値:ハンドヘルド多フレーム神経深部微細化
• Authors: Ilya Chugunov, Yuxuan Zhang, Zhihao Xia, Cecilia Zhang, Jiawen Chen, and Felix Heide
• Abstract要約: ビューフィンディング中に高密度のマイクロベースラインパララックスキューとキロピクセルのLiDAR深度推定を組み合わせられるかを示す。 提案手法は, 高分解能深度推定をテーブルトップ撮影の「ポイント・アンド・シュート」に応用し, 追加ハードウェア, 人工手の動き, ボタンの押圧以外のユーザインタラクションを必要としない。
• 参考スコア（独自算出の注目度）: 25.637162990928676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern smartphones can continuously stream multi-megapixel RGB images at 60~Hz, synchronized with high-quality 3D pose information and low-resolution LiDAR-driven depth estimates. During a snapshot photograph, the natural unsteadiness of the photographer's hands offers millimeter-scale variation in camera pose, which we can capture along with RGB and depth in a circular buffer. In this work we explore how, from a bundle of these measurements acquired during viewfinding, we can combine dense micro-baseline parallax cues with kilopixel LiDAR depth to distill a high-fidelity depth map. We take a test-time optimization approach and train a coordinate MLP to output photometrically and geometrically consistent depth estimates at the continuous coordinates along the path traced by the photographer's natural hand shake. The proposed method brings high-resolution depth estimates to 'point-and-shoot' tabletop photography and requires no additional hardware, artificial hand motion, or user interaction beyond the press of a button.
• Abstract（参考訳）: 現代のスマートフォンは、60〜Hzで連続的にマルチメガピクセルのRGB画像をストリーミングでき、高品質な3Dポーズ情報と低解像度のLiDAR駆動深度推定と同期する。 写真撮影中、カメラマンの手の自然な不安定さは、カメラのポーズにミリスケールのバリエーションをもたらし、rgbと深さを円形のバッファーで捉えることができる。 本研究では,これらの測定値の束から,高密度のマイクロベースラインパララックスキューとkilopixel lidar深度を組み合わせることで,高忠実度深度マップを蒸留する方法について検討する。 撮影者の自然な手振れによって追跡される経路に沿った連続座標における測光的および幾何学的一貫性のある深さ推定を出力するために、テスト時間最適化手法を採用し、座標mlpを訓練する。 提案手法は,'ポイント・アンド・シュート'のテーブル上撮影に高解像度の奥行き推定をもたらすとともに,ボタン押す以上のハードウェア,人工手動作,ユーザインタラクションを必要としない。

関連論文リスト

• Cross-spectral Gated-RGB Stereo Depth Estimation [34.31592077757453]
  ゲート付きカメラがシーンを照らし、シーンのタイムゲートのインパルスを捉えます。 本稿では,これらのマルチモーダルな多視点深度キューを活用可能な新しいステレオ深度推定法を提案する。 提案手法は, 蓄積したLiDAR地盤の100～220mの範囲において, 次の最良既存手法よりも39%高い精度で高精度な深度を実現する。
  論文  参考訳（メタデータ） (2024-05-21T13:10:43Z)
• Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
  2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。 我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
  論文  参考訳（メタデータ） (2022-12-22T18:54:34Z)
• FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras [37.812681878193914]
  スマートフォンには、飛行時間(ToF)深度センサーと複数のカラーカメラを備えたマルチモーダルカメラシステムが搭載されている。 高精度な高解像度の深度を作り出すことは、ToFセンサーの低解像度と限られた能動照明力のために依然として困難である。 本稿では,1枚のスナップショットからカメラパラメータを推定できる高密度2D/3Dマッチングに基づく自動校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T09:57:09Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• DEVO: Depth-Event Camera Visual Odometry in Challenging Conditions [30.892930944644853]
  本稿では,深度・高解像度イベントカメラのステレオ設定のための新しいリアルタイムビジュアル・オドメトリー・フレームワークを提案する。 本フレームワークは, 計算効率に対する精度と堅牢性を, 挑戦シナリオにおける高い性能にバランスさせる。
  論文  参考訳（メタデータ） (2022-02-05T13:46:47Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials [65.95928593628128]
  多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。 我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
  論文  参考訳（メタデータ） (2020-01-18T12:26:22Z)
• Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
  本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。 モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。 提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
  論文  参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。