論文の概要: Audio-Visual Self-Supervised Terrain Type Discovery for Mobile Platforms
- arxiv url: http://arxiv.org/abs/2010.06318v1
- Date: Tue, 13 Oct 2020 11:56:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 00:06:37.248755
- Title: Audio-Visual Self-Supervised Terrain Type Discovery for Mobile Platforms
- Title(参考訳): 移動プラットフォームのための視聴覚自己教師付き地形型発見
- Authors: Akiyoshi Kurobe, Yoshikatsu Nakajima, Hideo Saito, Kris Kitani
- Abstract要約: 地形特性を認識・発見する能力は多くの自律型地上ロボットにとって重要な機能である。
移動体プラットフォームの下面に取り付けられたマイクから抽出した音声特徴を切り替えるマルチモーダル自己教師型学習手法を提案する。
次に、地形クラスタラベルを使用して、画像ベースの畳み込みニューラルネットワークをトレーニングし、地形タイプの変化を予測する。
- 参考スコア(独自算出の注目度): 29.590052023903446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to both recognize and discover terrain characteristics is an
important function required for many autonomous ground robots such as social
robots, assistive robots, autonomous vehicles, and ground exploration robots.
Recognizing and discovering terrain characteristics is challenging because
similar terrains may have very different appearances (e.g., carpet comes in
many colors), while terrains with very similar appearance may have very
different physical properties (e.g. mulch versus dirt). In order to address the
inherent ambiguity in vision-based terrain recognition and discovery, we
propose a multi-modal self-supervised learning technique that switches between
audio features extracted from a mic attached to the underside of a mobile
platform and image features extracted by a camera on the platform to cluster
terrain types. The terrain cluster labels are then used to train an image-based
convolutional neural network to predict changes in terrain types. Through
experiments, we demonstrate that the proposed self-supervised terrain type
discovery method achieves over 80% accuracy, which greatly outperforms several
baselines and suggests strong potential for assistive applications.
- Abstract(参考訳): 地形の特徴を認識して発見する能力は、社会ロボット、補助ロボット、自動運転車、地上探査ロボットといった多くの自律地上ロボットにとって重要な機能である。
地形の特徴の認識と発見は、類似の地形が非常に異なる外観(例えば、カーペットが多くの色で現れる)を持つのに対して、非常に類似した地形は、非常に異なる物理的性質(例えば、マーチ対ダート)を持つため、困難である。
視覚に基づく地形認識・発見における固有の曖昧さに対処するため,移動プラットフォームの下面に取り付けられたマイクから抽出した音声特徴と,プラットフォーム上のカメラで抽出した画像特徴とを切り替えて地形をクラスタリングする多モード自己教師型学習手法を提案する。
次に、地形クラスタラベルを使用して、画像ベースの畳み込みニューラルネットワークを訓練し、地形タイプの変化を予測する。
実験により,提案手法は80%以上の精度を達成し,いくつかのベースラインをはるかに上回り,補助的応用の可能性を示している。
関連論文リスト
- Active Visual Localization for Multi-Agent Collaboration: A Data-Driven
Approach [51.75186763756072]
本研究は、視点変化の課題を克服するために、アクティブな視覚的ローカライゼーションをどのように利用できるかを検討する。
具体的には、与えられた場所における最適な視点を選択する問題に焦点をあてる。
その結果,既存の手法と比較して,データ駆動方式の方が優れた性能を示した。
論文 参考訳(メタデータ) (2023-10-04T08:18:30Z) - MEM: Multi-Modal Elevation Mapping for Robotics and Learning [10.476978089902818]
我々は、複数の情報源からのマルチモーダル情報を一般的な地図表現に融合させることにより、2.5Dロボット中心の標高マッピングフレームワークを拡張した。
我々のシステムはGPU上で動くように設計されており、様々なロボットや学習タスクをリアルタイムに行うことができる。
論文 参考訳(メタデータ) (2023-09-28T19:55:29Z) - STERLING: Self-Supervised Terrain Representation Learning from
Unconstrained Robot Experience [43.49602846732077]
自己教師型テレイン表現学習(STERling)について紹介する。
STERlingは、地形表現を学習するための新しいアプローチであり、簡単に編集できる、制約のない(例えば、非専門家)、非ラベルのロボット体験にのみ依存する。
我々は、優先的な視覚ナビゲーションのタスクにおけるSTERling機能を評価し、STERling機能が完全に教師付きされたアプローチと同等に機能することを見出した。
論文 参考訳(メタデータ) (2023-09-26T22:55:32Z) - Pave the Way to Grasp Anything: Transferring Foundation Models for
Universal Pick-Place Robots [50.73735524550534]
そこで本稿では,最先端基礎モデルによって生成された言語基底セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
マスクから伝達される正確なセマンティクスとジオメトリを多視点ポリシーモデルに統合することにより、正確なオブジェクトのポーズを認識し、サンプル効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Autonomous Marker-less Rapid Aerial Grasping [5.892028494793913]
本稿では,自律的高速空中把握のための視覚ベースシステムを提案する。
検出対象の高密度点雲を生成し,幾何に基づく把握計画を行う。
飛行プラットフォームを用いた幾何学的把握技術の最初の利用例を示す。
論文 参考訳(メタデータ) (2022-11-23T16:25:49Z) - Legged Locomotion in Challenging Terrains using Egocentric Vision [70.37554680771322]
本稿では,階段,縁石,石段,隙間を横断できる最初のエンドツーエンド移動システムを提案する。
この結果を,1台の前面深度カメラを用いた中型四足歩行ロボットに示す。
論文 参考訳(メタデータ) (2022-11-14T18:59:58Z) - Challenges in Visual Anomaly Detection for Mobile Robots [65.53820325712455]
視覚に基づく自律移動ロボットの異常検出作業について考察する。
関連した視覚異常の種類を分類し,教師なしの深層学習手法で検出する方法について議論する。
論文 参考訳(メタデータ) (2022-09-22T13:26:46Z) - Self-Supervised Traversability Prediction by Learning to Reconstruct
Safe Terrain [11.879448207836038]
高速な自動運転車でオフロードを走行するには、トラバース可能な地形と非トラバース可能な地形を区別する堅牢な認識システムに依存する。
これは人間の時間に多大な投資をし、正確な専門家の分類を仮定し、小さな詳細が誤分類につながる可能性がある。
本研究では,過去の車両経験から高リスク・低リスク地形を自己管理的に予測する手法を提案する。
論文 参考訳(メタデータ) (2022-08-02T09:24:39Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳(メタデータ) (2022-06-16T10:45:17Z) - Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual
Observations [75.60524561611008]
この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。
まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。
本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
論文 参考訳(メタデータ) (2021-09-28T20:25:10Z) - Solving Occlusion in Terrain Mapping with Neural Networks [7.703348666813963]
本研究では,実世界のデータに基づいて,地上情報を必要としない自己教師付き学習手法を提案する。
私たちのニューラルネットワークは、自律的な地上ロボットに適したサンプリングレートで、CPUとGPUの両方でリアルタイムで実行できます。
論文 参考訳(メタデータ) (2021-09-15T08:30:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。