Fugu-MT 論文翻訳(概要): Contrastive Learning of Features between Images and LiDAR

論文の概要: Contrastive Learning of Features between Images and LiDAR

arxiv url: http://arxiv.org/abs/2206.12071v1
Date: Fri, 24 Jun 2022 04:35:23 GMT
ステータス: 処理完了
システム内更新日: 2022-06-28 02:14:30.890160
Title: Contrastive Learning of Features between Images and LiDAR
Title（参考訳）: 画像とLiDARの特徴の対比学習
Authors: Peng Jiang, Srikanth Saripalli
Abstract要約: この研究は、クロスモーダルな特徴を密接な対照的な学習問題として扱う。優れた特徴を学習し、一般性を損なわないために、画像に広く使われているPointNet++アーキテクチャの亜種を開発した。我々のモデルでは,特徴を可視化することで,画像とLiDARの両方から情報を学習できることが示されている。
参考スコア（独自算出の注目度）: 18.211513930388417
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Image and Point Clouds provide different information for robots. Finding the correspondences between data from different sensors is crucial for various tasks such as localization, mapping, and navigation. Learning-based descriptors have been developed for single sensors; there is little work on cross-modal features. This work treats learning cross-modal features as a dense contrastive learning problem. We propose a Tuple-Circle loss function for cross-modality feature learning. Furthermore, to learn good features and not lose generality, we developed a variant of widely used PointNet++ architecture for point cloud and U-Net CNN architecture for images. Moreover, we conduct experiments on a real-world dataset to show the effectiveness of our loss function and network structure. We show that our models indeed learn information from both images as well as LiDAR by visualizing the features.
Abstract（参考訳）: ImageとPoint Cloudsはロボットに異なる情報を提供する。さまざまなセンサからデータ間の対応を見つけることは、ローカライズ、マッピング、ナビゲーションなど、さまざまなタスクに不可欠である。学習ベースのディスクリプタは単一センサ用に開発されており、クロスモーダル機能に関する作業はほとんどない。本研究は、クロスモーダル特徴の学習を、密接な対比学習問題として扱う。クロスモダリティ特徴学習のためのタプル循環損失関数を提案する。さらに,良質な特徴を学習し,一般性を損なわないために,画像のポイントクラウドとU-Net CNNアーキテクチャに広く使用されているPointNet++アーキテクチャの亜種を開発した。さらに,実世界のデータセットで実験を行い,損失関数とネットワーク構造の有効性を示す。我々のモデルでは,特徴を可視化することで,画像とLiDARの両方から情報を学ぶことができる。

関連論文リスト

Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。 RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
論文参考訳（メタデータ） (2024-05-17T07:48:27Z)
HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation [106.09886920774002]
本稿では,HVDistillと呼ばれるハイブリッドビューに基づく知識蒸留フレームワークを提案する。提案手法は,スクラッチからトレーニングしたベースラインに対して一貫した改善を実現し,既存のスキームを大幅に上回っている。
論文参考訳（メタデータ） (2024-03-18T14:18:08Z)
Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [99.44264155894376]
本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。我々は剛性変換を推定するために密度の高い2D-3D対応を確立する。
論文参考訳（メタデータ） (2024-01-23T02:41:06Z)
Differentiable Registration of Images and LiDAR Point Clouds with VoxelPoint-to-Pixel Matching [58.10418136917358]
カメラからの2D画像とLiDARからの3Dポイントクラウドの間のクロスモダリティ登録は、コンピュータビジョンとロボットトレーニングにおいて重要な課題である。ニューラルネットワークで学習した点パターンと画素パターンのマッチングによる2次元3次元対応の推定我々は、異なる潜在画素空間を介して3次元特徴を表現するために、構造化されたモダリティマッチングソルバを学習する。
論文参考訳（メタデータ） (2023-12-07T05:46:10Z)
Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration [17.420425069785946]
本稿では,ポイントクラウド登録のための新しいCross-Modal Information-Guided Network(CMIGNet)を提案する。まず,点雲から投影された画像を取り込んで,アテンション機構を用いてモーダルな特徴を融合する。コントラスト学習戦略は2つあり、すなわち、コントラスト学習とクロスモーダルコントラスト学習が重なり合う。
論文参考訳（メタデータ） (2023-11-02T12:56:47Z)
Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis [43.13887916301742]
本稿では、ポイントクラウド分析を促進するために、シンプルだが効果的なポイントクラウドクロスモダリティトレーニング(PointCMT)戦略を導入する。ビューイメージから補助的知識を効果的に獲得するために,教師学生のための枠組みを開発し,知識蒸留問題としてクロスモーダル学習を定式化する。我々は、魅力的なバックボーン、すなわちPointCMT、PointNet++、PointMLPを備えた様々なデータセットにおいて、大きな利益を検証した。
論文参考訳（メタデータ） (2022-10-09T09:35:22Z)
SimIPU: Simple 2D Image and 3D Point Cloud Unsupervised Pre-Training for Spatial-Aware Visual Representations [85.38562724999898]
我々はSimIPUと呼ばれる2Dイメージと3Dポイントクラウドの教師なし事前学習戦略を提案する。具体的には、モーダル内空間認識モジュールとモーダル間特徴相互作用モジュールからなるマルチモーダルコントラスト学習フレームワークを開発する。我々の知る限りでは、屋外マルチモーダルデータセットに対する対照的な学習事前学習戦略を探求する最初の研究である。
論文参考訳（メタデータ） (2021-12-09T03:27:00Z)
PGGANet: Pose Guided Graph Attention Network for Person Re-identification [0.0]
人物再識別(ReID)は、異なるカメラで撮影された画像から人物を回収することを目的としている。局所的な特徴と人像のグローバルな特徴を併用することで、人物の検索に堅牢な特徴表現を与えることができることが証明されている。本研究では,ポーズガイド付きグラフアテンションネットワーク,グローバル機能のための1つのブランチ,中粒体機能のための1つのブランチ,粒状キーポイント機能のための1つのブランチからなるマルチブランチアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-11-29T09:47:39Z)
AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation [3.6790362352712873]
我々は、未ラベル画像の集合から画像特徴を学習するための新しいディープラーニングトレーニングパラダイムであるAugNetを提案する。実験により,低次元空間における画像の表現が可能であることを実証した。多くのディープラーニングベースの画像検索アルゴリズムとは異なり、我々のアプローチは外部アノテーション付きデータセットへのアクセスを必要としない。
論文参考訳（メタデータ） (2021-06-11T09:02:30Z)
Data Augmentation for Object Detection via Differentiable Neural Rendering [71.00447761415388]
注釈付きデータが乏しい場合、堅牢なオブジェクト検出器を訓練することは困難です。この問題に対処する既存のアプローチには、ラベル付きデータからラベル付きデータを補間する半教師付き学習が含まれる。オブジェクト検出のためのオフラインデータ拡張手法を導入し、新しいビューでトレーニングデータを意味的に補間する。
論文参考訳（メタデータ） (2021-03-04T06:31:06Z)
Learning to Focus: Cascaded Feature Matching Network for Few-shot Image Recognition [38.49419948988415]
ディープネットワークは、多数の画像でトレーニングすることで、カテゴリのオブジェクトを正確に認識することを学ぶことができる。低ショット画像認識タスク(low-shot image recognition task)として知られるメタラーニングの課題は、1つのカテゴリの認識モデルを学ぶためにアノテーション付き画像しか利用できない場合に発生する。この問題を解決するため,Cascaded Feature Matching Network (CFMN) と呼ばれる手法を提案する。 EmphminiImageNet と Omniglot の2つの標準データセットを用いた数ショット学習実験により,本手法の有効性が確認された。
論文参考訳（メタデータ） (2021-01-13T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。