論文の概要: On-the-Fly SfM: What you capture is What you get

• arxiv url: http://arxiv.org/abs/2309.11883v2
• Date: Wed, 14 Feb 2024 02:21:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 19:34:05.133631
• Title: On-the-Fly SfM: What you capture is What you get
• Title（参考訳）: On-The-Fly SfM: 捉えたものは何か?
• Authors: Zongqian Zhan, Rui Xia, Yifei Yu, Yibo Xu, Xin Wang
• Abstract要約: 画像キャプチャ中にオンラインSfMをオンザフライで実行し、新たに取得したオンザフライ画像は、対応するポーズとポイントをオンラインで推定する。 具体的には,学習に基づくグローバルな特徴を用いた教師なしの語彙木を用いる。 最小二乗(LSM)を用いたロバストな特徴マッチング機構を提示し、画像登録性能を向上させる。
• 参考スコア（独自算出の注目度）: 26.08032193296505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the last decades, ample achievements have been made on Structure from motion (SfM). However, the vast majority of them basically work in an offline manner, i.e., images are firstly captured and then fed together into a SfM pipeline for obtaining poses and sparse point cloud. In this work, on the contrary, we present an on-the-fly SfM: running online SfM while image capturing, the newly taken On-the-Fly image is online estimated with the corresponding pose and points, i.e., what you capture is what you get. Specifically, our approach firstly employs a vocabulary tree that is unsupervised trained using learning-based global features for fast image retrieval of newly fly-in image. Then, a robust feature matching mechanism with least squares (LSM) is presented to improve image registration performance. Finally, via investigating the influence of newly fly-in image's connected neighboring images, an efficient hierarchical weighted local bundle adjustment (BA) is used for optimization. Extensive experimental results demonstrate that on-the-fly SfM can meet the goal of robustly registering the images while capturing in an online way.
• Abstract（参考訳）: 過去数十年間、Structure from Motion (SfM)で多くの成果が達成されてきた。 しかし、その大半はオフラインで動作し、イメージはまずキャプチャされ、scmパイプラインにまとめられ、ポーズとスパースポイントクラウドを得る。 画像キャプチャ中にオンラインSfMを実行すると、新たに撮影されたOn-the-Fly画像は、対応するポーズとポイント、すなわち、取得したものをオンラインで推定する。 具体的には,新しいフライイン画像の高速画像検索のために,学習に基づくグローバル特徴を用いた教師なし学習の語彙木を用いる。 次に、最小二乗(LSM)を有するロバストな特徴マッチング機構を示し、画像登録性能を向上させる。 最後に、新しいフライイン画像の連結画像の影響を調査することで、効率的な階層的局所バンドル調整(BA)が最適化に使用される。 大規模な実験結果から、オンザフライのSfMは、オンラインで撮影しながら画像の堅牢な登録を目標とすることができる。

関連論文リスト

• SfM on-the-fly: Get better 3D from What You Capture [24.141351494527303]
  Structure from Motion (SfM) は、フォトグラメトリー、コンピュータビジョン、ロボティクスなどの分野で、常に研究のホットスポットとなっている。 この作業は、オリジナルのSfMの上に構築され、アップデートされたバージョンには3つの新しい進歩があり、より優れた3Dをキャプチャから得ることができる。
  論文  参考訳（メタデータ） (2024-07-04T13:52:37Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Linear Alignment of Vision-language Models for Image Captioning [9.746397419479447]
  本稿では,CLIPのイメージとテキストの埋め込みを線形にマッピングする,より効率的なトレーニングプロトコルを提案する。 これにより、勾配計算の必要性を回避し、ReCapと呼ばれる軽量キャプション方式が実現される。 ReCap on MS-COCO, Flickr30k, VizWiz, MSRVTT。
  論文  参考訳（メタデータ） (2023-07-10T17:59:21Z)
• PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling [83.67628239775878]
  Masked Image Modeling (MIM) は Masked Autoencoders (MAE) と BEiT の出現によって有望な進歩を遂げた。 本稿では,画素再構成の観点からMIMの基本解析を行う。 我々は,2つの戦略を包含する極めて単純で効果的な方法,weelmethodを提案する。
  論文  参考訳（メタデータ） (2023-03-04T13:38:51Z)
• EC-SfM: Efficient Covisibility-based Structure-from-Motion for Both Sequential and Unordered Images [24.6736600856999]
  本稿では、非順序のインターネット画像に対する効率的なコビジュアビリティに基づくインクリメンタルSfMを提案する。 逐次的画像、非順序画像、これら2つの混合画像を効率的に再構成するための統一的な枠組みを提案する。 提案手法は特徴マッチングの最先端技術よりも3倍高速であり,精度を犠牲にすることなく再現の精度は桁違いに向上する。
  論文  参考訳（メタデータ） (2023-02-21T09:18:57Z)
• SfM-TTR: Using Structure from Motion for Test-Time Refinement of Single-View Depth Networks [13.249453757295086]
  本研究では,SfM-TTRと呼ばれる新しいテスト時間改善手法を提案する。 具体的には,テスト時間自己監督信号としてスパースSfM点雲を用いる。 以上の結果から,SfM-TTRをいくつかの最先端の自己教師型ネットワークに付加することで,その性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-11-24T12:02:13Z)
• Single Image Brightening via Multi-Scale Exposure Fusion with Hybrid Learning [48.890709236564945]
  小さいISOと小さな露光時間は、通常、背面または低い光条件下で画像をキャプチャするために使用される。 本稿では、そのような画像を明るくするために、単一の画像輝度化アルゴリズムを提案する。 提案アルゴリズムは,露出時間が大きい2つの仮想画像を生成するための,ユニークなハイブリッド学習フレームワークを含む。
  論文  参考訳（メタデータ） (2020-07-04T08:23:07Z)
• DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning [122.51237307910878]
  我々は,画像領域間の最適なマッチングの新しい視点から,少数ショット画像分類法を開発した。 我々は、高密度画像表現間の構造距離を計算するために、Earth Mover's Distance (EMD) を用いている。 定式化において重要な要素の重みを生成するために,我々は相互参照機構を設計する。
  論文  参考訳（メタデータ） (2020-03-15T08:13:16Z)
• Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
  局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。 パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。 適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
  論文  参考訳（メタデータ） (2020-03-03T15:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。