論文の概要: Learning to Adapt Multi-View Stereo by Self-Supervision
- arxiv url: http://arxiv.org/abs/2009.13278v1
- Date: Mon, 28 Sep 2020 12:42:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 22:07:43.794605
- Title: Learning to Adapt Multi-View Stereo by Self-Supervision
- Title(参考訳): 自己スーパービジョンによる多視点ステレオ適応学習
- Authors: Arijit Mallick, J\"org St\"uckler, Hendrik Lensch
- Abstract要約: 複数視点からの3次元シーン再構成はコンピュータビジョンの重要な古典的問題である。
ディープラーニングに基づくアプローチは、最近、印象的な再構築結果を示している。
本稿では,新しい対象領域への適応性を向上させるために,深層ニューラルネットワークを訓練する多視点ステレオの適応学習手法を提案する。
- 参考スコア(独自算出の注目度): 0.5156484100374059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D scene reconstruction from multiple views is an important classical problem
in computer vision. Deep learning based approaches have recently demonstrated
impressive reconstruction results. When training such models, self-supervised
methods are favourable since they do not rely on ground truth data which would
be needed for supervised training and is often difficult to obtain. Moreover,
learned multi-view stereo reconstruction is prone to environment changes and
should robustly generalise to different domains. We propose an adaptive
learning approach for multi-view stereo which trains a deep neural network for
improved adaptability to new target domains. We use model-agnostic
meta-learning (MAML) to train base parameters which, in turn, are adapted for
multi-view stereo on new domains through self-supervised training. Our
evaluations demonstrate that the proposed adaptation method is effective in
learning self-supervised multi-view stereo reconstruction in new domains.
- Abstract(参考訳): 複数視点からの3次元シーン再構成はコンピュータビジョンの重要な古典的問題である。
ディープラーニングベースのアプローチは最近、印象的な再構築結果を示している。
このようなモデルをトレーニングする場合、教師付きトレーニングに必要な地上の真理データに頼らず、入手が困難な場合が多いため、自己管理手法が好ましい。
さらに、学習した多視点ステレオ再構成は環境変化を起こしやすく、異なる領域に堅牢に一般化すべきである。
本稿では,新しい対象領域への適応性を向上させるために,深層ニューラルネットワークを訓練する多視点ステレオの適応学習手法を提案する。
モデルに依存しないメタラーニング(MAML)をベースパラメータのトレーニングに使用し,新たなドメインのマルチビューステレオに自己教師付きトレーニングを施した。
提案手法は,新しいドメインにおける自己教師付き多視点ステレオ再構成の学習に有効であることを示す。
関連論文リスト
- UniTT-Stereo: Unified Training of Transformer for Enhanced Stereo Matching [18.02254687807291]
UniTT-StereoはTransformerベースのステレオアーキテクチャの可能性を最大化する手法である。
UniTT-Stereoの最先端性能は、ETH3D、KITTI 2012、KITTI 2015データセットなどの様々なベンチマークで検証されている。
論文 参考訳(メタデータ) (2024-09-04T09:02:01Z) - Reusable Architecture Growth for Continual Stereo Matching [92.36221737921274]
我々は、教師付きおよび自己監督型の両方で、新しいシーンを継続的に学習するための、再利用可能なアーキテクチャ成長(RAG)フレームワークを紹介します。
RAGは、前のユニットを再利用し、良好な性能を得ることにより、成長中の高い再利用性を維持することができる。
また、推論時にシーン固有のアーキテクチャパスを適応的に選択するScene Routerモジュールを提案する。
論文 参考訳(メタデータ) (2024-03-30T13:24:58Z) - PointFix: Learning to Fix Domain Bias for Robust Online Stereo
Adaptation [67.41325356479229]
本稿では,PointFixと呼ばれるメタラーニングフレームワークに補助的なポイント選択型ネットワークを導入することを提案する。
簡単に言えば、我々の補助的ネットワークは、メタグラディエントを通じて局所情報を効果的にバックプロパゲートすることで、局所的変異を集中的に修正することを学ぶ。
このネットワークはモデルに依存しないため、プラグイン・アンド・プレイ方式であらゆる種類のアーキテクチャで使用することができる。
論文 参考訳(メタデータ) (2022-07-27T07:48:29Z) - Deep Learning for Multi-View Stereo via Plane Sweep: A Survey [0.0]
自動運転、ロボティクス、バーチャルリアリティーなど、多くの分野に応用されているため、近年3D再構築が注目を集めている。
人工知能における支配的な技術として、ディープラーニングは様々なコンピュータビジョン問題を解決するためにうまく採用されている。
本稿では,画像に基づく3次元再構成において重要な課題である多視点ステレオ(MVS)の深層学習手法の最近の進歩を概観する。
論文 参考訳(メタデータ) (2021-06-18T14:10:44Z) - Single-Layer Vision Transformers for More Accurate Early Exits with Less
Overhead [88.17413955380262]
視覚変換器アーキテクチャに基づく早期退避のための新しいアーキテクチャを提案する。
本手法は分類問題と回帰問題の両方に有効であることを示す。
また,音声視覚データ解析において,早期出口に音声と視覚のモダリティを統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2021-05-19T13:30:34Z) - Deep Multi-View Stereo gone wild [12.106051690920266]
ディープマルチビューステレオ(ディープMSV)メソッドは、単純なデータセットで広く開発され、比較されています。
本稿では,インターネット写真収集作業において,制御されたシナリオで到達した結論が有効かどうかを問う。
ネットワークアーキテクチャ,トレーニングデータ,監督という,深層MSV手法の3つの側面から評価手法を提案し,その影響を検討する。
論文 参考訳(メタデータ) (2021-04-30T17:07:17Z) - Multi-Domain Adversarial Feature Generalization for Person
Re-Identification [52.835955258959785]
マルチデータセット特徴一般化ネットワーク(MMFA-AAE)を提案する。
複数のラベル付きデータセットから普遍的なドメイン不変の特徴表現を学習し、それを見えないカメラシステムに一般化することができる。
また、最先端の教師付き手法や教師なしのドメイン適応手法を大きなマージンで超えている。
論文 参考訳(メタデータ) (2020-11-25T08:03:15Z) - Reversing the cycle: self-supervised deep stereo through enhanced
monocular distillation [51.714092199995044]
多くの分野において、自己教師付き学習ソリューションは急速に進化し、教師付きアプローチでギャップを埋めている。
本稿では,両者の相互関係を逆転する自己教師型パラダイムを提案する。
深層ステレオネットワークを訓練するために,単分子完備ネットワークを通じて知識を抽出する。
論文 参考訳(メタデータ) (2020-08-17T07:40:22Z) - Continual Adaptation for Deep Stereo [52.181067640300014]
本稿では,難易度と変化の激しい環境に対処するために,深層ステレオネットワークの継続的適応パラダイムを提案する。
我々のパラダイムでは、オンラインモデルに継続的に適応するために必要な学習信号は、右から左への画像ワープや従来のステレオアルゴリズムによって自己監督から得られる。
我々のネットワークアーキテクチャと適応アルゴリズムは、初めてのリアルタイム自己適応型ディープステレオシステムを実現する。
論文 参考訳(メタデータ) (2020-07-10T08:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。