論文の概要: Self-Supervised Structure-from-Motion through Tightly-Coupled Depth and Egomotion Networks

• arxiv url: http://arxiv.org/abs/2106.04007v1
• Date: Mon, 7 Jun 2021 23:30:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 15:43:34.413730
• Title: Self-Supervised Structure-from-Motion through Tightly-Coupled Depth and Egomotion Networks
• Title（参考訳）: 高度結合深度とエゴモーションネットワークによる自己改善構造
• Authors: Brandon Wagstaff and Valentin Peretroukhin and Jonathan Kelly
• Abstract要約: 結合の概念を導入し、既存のアプローチを分類し、新しい密結合アプローチを提案する。 提案手法は,テスト時の深度とエゴモーション予測の整合性を向上し,新しいデータの一般化を促進し,室内および屋外の深度およびエゴモーション評価ベンチマークにおける最先端の精度をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 11.888728516442905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Much recent literature has formulated structure-from-motion (SfM) as a self-supervised learning problem where the goal is to jointly learn neural network models of depth and egomotion through view synthesis. Herein, we address the open problem of how to optimally couple the depth and egomotion network components. Toward this end, we introduce several notions of coupling, categorize existing approaches, and present a novel tightly-coupled approach that leverages the interdependence of depth and egomotion at training and at inference time. Our approach uses iterative view synthesis to recursively update the egomotion network input, permitting contextual information to be passed between the components without explicit weight sharing. Through substantial experiments, we demonstrate that our approach promotes consistency between the depth and egomotion predictions at test time, improves generalization on new data, and leads to state-of-the-art accuracy on indoor and outdoor depth and egomotion evaluation benchmarks.
• Abstract（参考訳）: 近年の文献では、ビュー合成を通じて深度とエゴモーションのニューラルネットワークモデルを共同で学習することを目的とした自己教師型学習問題として、Structure-from-motion (SfM) が定式化されている。 本稿では,深度とエゴモーションのネットワークコンポーネントを最適に結合する方法というオープンな問題に対処する。 この目的に向けて,結合の概念をいくつか導入し,既存のアプローチを分類し,トレーニングや推論時間における深さと自我の相互依存性を利用した新しい密結合アプローチを提案する。 提案手法では,egomotionネットワーク入力を再帰的に更新するために反復的ビュー合成を用い,明示的な重み共有を伴わずにコンポーネント間でコンテキスト情報を渡せるようにする。 実際の実験を通じて,本手法はテスト時の深度とエゴモーション予測の整合性を促進し,新しいデータの一般化を促進し,室内および屋外の深度およびエゴモーション評価ベンチマークの最先端の精度向上につながることを示す。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Connectivity-Inspired Network for Context-Aware Recognition [1.049712834719005]
  視覚認知に対処するために,生体脳の回路モチーフを取り入れることの効果に焦点をあてる。 私たちの畳み込みアーキテクチャは、人間の皮質と皮質下の流れの接続にインスパイアされています。 我々はコンテキスト認識をモデル化するための新しいプラグイン・アンド・プレイ・モジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-06T15:42:10Z)
• DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
  ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。 これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。 本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T23:35:06Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Learning What and Where -- Unsupervised Disentangling Location and Identity Tracking [0.44040106718326594]
  教師なしLOCation and Identity Tracking System(Loci)を導入する。 ローチは脳の背腹側経路にインスパイアされ、自己監督された分離機構を用いて、何とどこにも結合する問題に取り組む。 Lociは、より深い説明指向のビデオ処理のステージを設定できる。
  論文  参考訳（メタデータ） (2022-05-26T13:30:14Z)
• MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
  マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。 人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。 本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-24T17:48:04Z)
• Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
  フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。 本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。 本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-18T16:59:35Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Self-Supervised Learning of Depth and Ego-Motion from Video by Alternative Training and Geometric Constraints from 3D to 2D [5.481942307939029]
  ラベルなし単眼ビデオからの深度とエゴモーションの自己教師付き学習は有望な結果を得た。 本稿では,補助的なタスクを伴わずに深層学習性能を向上させることを目的とする。 我々は、トレーニング中により小さな深さ値に重点を置くために、ログスケールの3次元構造整合性損失を設計する。
  論文  参考訳（メタデータ） (2021-08-04T11:40:53Z)
• Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
  我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。 メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
  論文  参考訳（メタデータ） (2020-07-13T02:44:38Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。