論文の概要: Audio-Visual Self-Supervised Terrain Type Discovery for Mobile Platforms

• arxiv url: http://arxiv.org/abs/2010.06318v1
• Date: Tue, 13 Oct 2020 11:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 00:06:37.248755
• Title: Audio-Visual Self-Supervised Terrain Type Discovery for Mobile Platforms
• Title（参考訳）: 移動プラットフォームのための視聴覚自己教師付き地形型発見
• Authors: Akiyoshi Kurobe, Yoshikatsu Nakajima, Hideo Saito, Kris Kitani
• Abstract要約: 地形特性を認識・発見する能力は多くの自律型地上ロボットにとって重要な機能である。 移動体プラットフォームの下面に取り付けられたマイクから抽出した音声特徴を切り替えるマルチモーダル自己教師型学習手法を提案する。 次に、地形クラスタラベルを使用して、画像ベースの畳み込みニューラルネットワークをトレーニングし、地形タイプの変化を予測する。
• 参考スコア（独自算出の注目度）: 29.590052023903446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to both recognize and discover terrain characteristics is an important function required for many autonomous ground robots such as social robots, assistive robots, autonomous vehicles, and ground exploration robots. Recognizing and discovering terrain characteristics is challenging because similar terrains may have very different appearances (e.g., carpet comes in many colors), while terrains with very similar appearance may have very different physical properties (e.g. mulch versus dirt). In order to address the inherent ambiguity in vision-based terrain recognition and discovery, we propose a multi-modal self-supervised learning technique that switches between audio features extracted from a mic attached to the underside of a mobile platform and image features extracted by a camera on the platform to cluster terrain types. The terrain cluster labels are then used to train an image-based convolutional neural network to predict changes in terrain types. Through experiments, we demonstrate that the proposed self-supervised terrain type discovery method achieves over 80% accuracy, which greatly outperforms several baselines and suggests strong potential for assistive applications.
• Abstract（参考訳）: 地形の特徴を認識して発見する能力は、社会ロボット、補助ロボット、自動運転車、地上探査ロボットといった多くの自律地上ロボットにとって重要な機能である。 地形の特徴の認識と発見は、類似の地形が非常に異なる外観(例えば、カーペットが多くの色で現れる)を持つのに対して、非常に類似した地形は、非常に異なる物理的性質(例えば、マーチ対ダート)を持つため、困難である。 視覚に基づく地形認識・発見における固有の曖昧さに対処するため,移動プラットフォームの下面に取り付けられたマイクから抽出した音声特徴と,プラットフォーム上のカメラで抽出した画像特徴とを切り替えて地形をクラスタリングする多モード自己教師型学習手法を提案する。 次に、地形クラスタラベルを使用して、画像ベースの畳み込みニューラルネットワークを訓練し、地形タイプの変化を予測する。 実験により,提案手法は80%以上の精度を達成し,いくつかのベースラインをはるかに上回り,補助的応用の可能性を示している。

関連論文リスト

• AdaCropFollow: Self-Supervised Online Adaptation for Visual Under-Canopy Navigation [31.214318150001947]
  アンダーキャノピー農業ロボットは、精密なモニタリング、スプレー、雑草、植物操作などの様々な応用を可能にする。 本稿では,視覚的基礎モデル,幾何学的事前,擬似ラベリングを用いて意味キーポイント表現を適応するための自己教師付きオンライン適応手法を提案する。 これにより、人間による介入を必要とせずに、畑や作物をまたがるアンダーキャノピーロボットの完全な自律的な行追尾が可能になる。
  論文  参考訳（メタデータ） (2024-10-16T09:52:38Z)
• Learning Humanoid Locomotion over Challenging Terrain [84.35038297708485]
  本研究では,自然と人為的な地形を横断する視覚障害者の移動に対する学習に基づくアプローチを提案する。 本モデルではまず, 時系列モデルを用いた平地軌道のデータセット上で事前学習を行い, 補強学習を用いて不均一な地形を微調整する。 本研究では, 荒面, 変形面, 傾斜面など, 様々な地形にまたがる実際のヒューマノイドロボットを用いて, モデルを評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:57:09Z)
• Active Visual Localization for Multi-Agent Collaboration: A Data-Driven Approach [47.373245682678515]
  本研究は、視点変化の課題を克服するために、アクティブな視覚的ローカライゼーションをどのように利用できるかを検討する。 具体的には、与えられた場所における最適な視点を選択する問題に焦点をあてる。 その結果,既存の手法と比較して,データ駆動方式の方が優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-04T08:18:30Z)
• MEM: Multi-Modal Elevation Mapping for Robotics and Learning [10.476978089902818]
  我々は、複数の情報源からのマルチモーダル情報を一般的な地図表現に融合させることにより、2.5Dロボット中心の標高マッピングフレームワークを拡張した。 我々のシステムはGPU上で動くように設計されており、様々なロボットや学習タスクをリアルタイムに行うことができる。
  論文  参考訳（メタデータ） (2023-09-28T19:55:29Z)
• STERLING: Self-Supervised Terrain Representation Learning from Unconstrained Robot Experience [43.49602846732077]
  自己教師型テレイン表現学習(STERling)について紹介する。 STERlingは、地形表現を学習するための新しいアプローチであり、簡単に編集できる、制約のない(例えば、非専門家)、非ラベルのロボット体験にのみ依存する。 我々は、優先的な視覚ナビゲーションのタスクにおけるSTERling機能を評価し、STERling機能が完全に教師付きされたアプローチと同等に機能することを見出した。
  論文  参考訳（メタデータ） (2023-09-26T22:55:32Z)
• Autonomous Marker-less Rapid Aerial Grasping [5.892028494793913]
  本稿では,自律的高速空中把握のための視覚ベースシステムを提案する。 検出対象の高密度点雲を生成し,幾何に基づく把握計画を行う。 飛行プラットフォームを用いた幾何学的把握技術の最初の利用例を示す。
  論文  参考訳（メタデータ） (2022-11-23T16:25:49Z)
• Legged Locomotion in Challenging Terrains using Egocentric Vision [70.37554680771322]
  本稿では,階段,縁石,石段,隙間を横断できる最初のエンドツーエンド移動システムを提案する。 この結果を,1台の前面深度カメラを用いた中型四足歩行ロボットに示す。
  論文  参考訳（メタデータ） (2022-11-14T18:59:58Z)
• Challenges in Visual Anomaly Detection for Mobile Robots [65.53820325712455]
  視覚に基づく自律移動ロボットの異常検出作業について考察する。 関連した視覚異常の種類を分類し,教師なしの深層学習手法で検出する方法について議論する。
  論文  参考訳（メタデータ） (2022-09-22T13:26:46Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)
• Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual Observations [75.60524561611008]
  この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。 まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。 本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
  論文  参考訳（メタデータ） (2021-09-28T20:25:10Z)
• Solving Occlusion in Terrain Mapping with Neural Networks [7.703348666813963]
  本研究では,実世界のデータに基づいて,地上情報を必要としない自己教師付き学習手法を提案する。 私たちのニューラルネットワークは、自律的な地上ロボットに適したサンプリングレートで、CPUとGPUの両方でリアルタイムで実行できます。
  論文  参考訳（メタデータ） (2021-09-15T08:30:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。