Fugu-MT 論文翻訳(概要): Self-Supervised Ego-Motion Estimation Based on Multi-Layer Fusion of RGB and Inferred Depth

論文の概要: Self-Supervised Ego-Motion Estimation Based on Multi-Layer Fusion of RGB and Inferred Depth

arxiv url: http://arxiv.org/abs/2203.01557v1
Date: Thu, 3 Mar 2022 08:12:32 GMT
ステータス: 処理完了
システム内更新日: 2022-03-04 16:14:56.531245
Title: Self-Supervised Ego-Motion Estimation Based on Multi-Layer Fusion of RGB and Inferred Depth
Title（参考訳）: RGBと推定深さの多層融合に基づく自己監督エゴ運動推定
Authors: Zijie Jiang, Hajime Taira, Naoyuki Miyashita and Masatoshi Okutomi
Abstract要約: 本研究では,自己教師型深度学習とエゴモーション推定のためのフレームワークを提案する。マルチ層融合方式でRGBおよび推定深度情報を活用することで、エゴモーション推定を行う。我々は,KITTI odometry ベンチマークを用いて,学習に基づく手法の最先端性能を実現した。
参考スコア（独自算出の注目度）: 10.872303769629129
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In existing self-supervised depth and ego-motion estimation methods, ego-motion estimation is usually limited to only leveraging RGB information. Recently, several methods have been proposed to further improve the accuracy of self-supervised ego-motion estimation by fusing information from other modalities, e.g., depth, acceleration, and angular velocity. However, they rarely focus on how different fusion strategies affect performance. In this paper, we investigate the effect of different fusion strategies for ego-motion estimation and propose a new framework for self-supervised learning of depth and ego-motion estimation, which performs ego-motion estimation by leveraging RGB and inferred depth information in a Multi-Layer Fusion manner. As a result, we have achieved state-of-the-art performance among learning-based methods on the KITTI odometry benchmark. Detailed studies on the design choices of leveraging inferred depth information and fusion strategies have also been carried out, which clearly demonstrate the advantages of our proposed framework.
Abstract（参考訳）: 既存の自己監督深度推定法や自我運動推定法では、自我運動推定は通常、RGB情報のみを活用することに制限される。近年, 深度, 加速度, 角速度などの他のモードからの情報を融合させることにより, 自己監督エゴモーション推定の精度を向上する手法が提案されている。しかし、彼らはしばしば異なる融合戦略がパフォーマンスにどのように影響するかに焦点を当てる。本稿では,ego運動推定における異なる融合戦略の効果について検討し,rgbと推定された深度情報を多層融合方式で活用し,自己教師付き深度学習とego運動推定のための新しい枠組みを提案する。その結果,KITTI odometry ベンチマークを用いた学習手法の最先端性能が得られた。また,提案手法の利点を明確に示すため,推定深度情報と核融合戦略を利用した設計選択に関する詳細な研究も行われている。

関連論文リスト

A Deep Features-Based Approach Using Modified ResNet50 and Gradient Boosting for Visual Sentiments Classification [1.2434714657059942]
本研究は,ディープラーニングアルゴリズムと機械学習アルゴリズムの融合を開発する。改良されたResNet50から深い特徴を抽出するために,多クラス分類のためのDeep Feature-based Methodが使用されている。グラデーションブースティングアルゴリズムは感情的な内容を含む写真を分類するために使われてきた。
論文参考訳（メタデータ） (2024-08-15T04:18:40Z)
Egocentric RGB+Depth Action Recognition in Industry-Like Settings [50.38638300332429]
本研究は,産業的な環境下での自我中心のRGBとDepthモダリティからの行動の認識に焦点を当てる。我々のフレームワークは、RGBとDepthの両方のモダリティを効果的に符号化する3DビデオSWIN変換器に基づいている。また,ICIAP 2023におけるマルチモーダル動作認識チャレンジにおいて,本手法が第1位を確保した。
論文参考訳（メタデータ） (2023-09-25T08:56:22Z)
Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文参考訳（メタデータ） (2023-03-21T14:24:58Z)
Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文参考訳（メタデータ） (2022-05-20T20:50:17Z)
MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
論文参考訳（メタデータ） (2022-01-24T17:48:04Z)
Robust Visual Odometry Using Position-Aware Flow and Geometric Bundle Adjustment [16.04240592057438]
まず,位置認識機構上に構築された新しい光フローネットワーク(PANet)を提案する。そこで本研究では,エゴモーション学習のための典型的なネットワークを使わずに,深度,光学的流れ,エゴモーションを共同で推定するシステムを提案する。実験により,提案システムは深度,流れ,VO推定の点で,他の最先端手法よりも優れていることがわかった。
論文参考訳（メタデータ） (2021-11-22T12:05:27Z)
Self-Supervised Monocular Depth Estimation with Internal Feature Fusion [12.874712571149725]
深度推定のための自己教師付き学習は、画像列の幾何学を用いて監督する。そこで本研究では,ダウンおよびアップサンプリングの手順で意味情報を利用することのできる,新しい深度推定ネットワークDIFFNetを提案する。
論文参考訳（メタデータ） (2021-10-18T17:31:11Z)
Self-Supervised Structure-from-Motion through Tightly-Coupled Depth and Egomotion Networks [11.888728516442905]
結合の概念を導入し、既存のアプローチを分類し、新しい密結合アプローチを提案する。提案手法は,テスト時の深度とエゴモーション予測の整合性を向上し,新しいデータの一般化を促進し,室内および屋外の深度およびエゴモーション評価ベンチマークにおける最先端の精度をもたらすことを示す。
論文参考訳（メタデータ） (2021-06-07T23:30:45Z)
Progressive Multi-scale Fusion Network for RGB-D Salient Object Detection [9.099589602551575]
本稿では,いわゆるプログレッシブ・マルチスケール・フュージョン法の利点について論じ,マスク誘導型特徴集合モジュールを提案する。提案フレームワークは,異なるモードの2つの特徴を効果的に組み合わせ,誤った深さ特徴の影響を軽減する。さらに,マスク誘導型改良モジュール(MGRM)を導入し,高レベルの意味的特徴を補完し,マルチスケール融合から無関係な特徴を減らす。
論文参考訳（メタデータ） (2021-06-07T20:02:39Z)
Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
論文参考訳（メタデータ） (2020-10-12T08:50:10Z)
Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。適応勾配法の一般化に関する経験的および理論的考察を示す。
論文参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。