論文の概要: OctoSense: Self-Supervised Learning for Multimodal Robot Perception

• arxiv url: http://arxiv.org/abs/2606.27317v1
• Date: Thu, 25 Jun 2026 17:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.381058
• Title: OctoSense: Self-Supervised Learning for Multimodal Robot Perception
• Title（参考訳）: OctoSense:マルチモーダルロボット知覚のための自己指導型学習
• Abstract要約: ステレオカメラとイベントカメラ、LiDAR、サーマルカメラ、慣性測定ユニット、プロプリセプション(車からのCANバスデータ、四足歩行ロボットの関節角度)を備えたオープンソースのセンサプラットフォームであるOctoSenseについて述べる。 匿名のOctoSenseデータセットには、59時間の時間同期駆動データが含まれている。 このような実世界のデータを用いて,センサの表現,周波数,レイテンシ,ノイズの異なるマルチモーダル自己教師型学習を実演する。
• 参考スコア（独自算出の注目度）: 50.20346079739425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present OctoSense, an open-source sensor platform with stereo RGB and event cameras, LiDAR, a thermal camera, an inertial measurement unit, RTK-corrected global positioning system, and proprioception (CAN bus data from a car, and joint angles for a quadruped robot). The eponymous OctoSense dataset contains 59 hours of time-synchronized driving data across different types of environments at different times of the day, including situations with highly degraded sensors. We demonstrate multi-modal self-supervised learning using such real-world robotics data, where sensors have different representations, frequencies, latencies and noise. Our approach, a "late-fusion" masked autoencoder, (i) uses modality-specific tokenizers to account for different spatiotemporal characteristics of these sensors, and (ii) caches modality-specific tokens at inference time to process new measurements as they come. This architecture (i) is fast (6.68 ms and 112 ms on NVIDIA 5090 and Orin NX respectively, to compute the representation), (ii) performs better than existing image-only foundation models on tasks such as estimation of optical flow, depth, semantic segmentation, and ego-motion (translation, rotation, and steering angle), and (iii) predicts robustly at nighttime or in situations where sensory data is degraded. See our project page for links to the dataset, code, and supplementary videos: https://abisulco.com/octosense/.
• Abstract（参考訳）: 我々は,ステレオRGBとイベントカメラを備えたオープンソースのセンサプラットフォームであるOctoSense,LiDAR,熱カメラ,慣性測定ユニット,RTK補正グローバル位置決めシステム,プロピオセプション(車からのCANバスデータ,四足歩行ロボットの関節角度)を紹介する。 匿名のOctoSenseデータセットには、高度に劣化したセンサーを備えた状況を含む、異なるタイプの環境にわたる59時間の時間同期駆動データが含まれている。 このような実世界のロボットデータを用いて,センサの表現,周波数,レイテンシ,ノイズの異なるマルチモーダル自己教師型学習を実演する。 我々のアプローチは、"レイトフュージョン"マスク付きオートエンコーダである。 (i)これらのセンサの時空間特性の異なるためにモダリティ特異的なトークン化剤を使用し、 (ii) 推論時にモダリティ固有のトークンをキャッシュし、新しい測定結果を処理する。 この建築 (i)は高速(NVIDIA 5090とOrin NXでそれぞれ6.68msと112ms)である。 (二)光学フロー、深度、セマンティックセグメンテーション、エゴモーション(翻訳、回転、操舵角)等のタスクにおいて、既存の画像のみの基礎モデルよりも優れた性能を発揮すること。 (三)夜間、又は感覚データが劣化した状況において、頑健に予測する。 データセット、コード、補足ビデオへのリンクについては、プロジェクトページを参照してください。

関連論文リスト

• SensorLM: Learning the Language of Wearable Sensors [50.95988682423808]
  本稿では,自然言語によるウェアラブルセンサデータ理解を可能にするセンサ言語基盤モデルのファミリーであるSensorLMを紹介する。 本稿では,センサデータから統計的,構造的,意味的な情報を収集する階層的なキャプション生成パイプラインを提案する。 このアプローチにより、これまでで最大のセンサー言語データセットのキュレーションが可能となり、103,000人以上から5970万時間以上のデータを収集した。
  論文  参考訳（メタデータ） (2025-06-10T17:13:09Z)
• Multi-modal Multi-platform Person Re-Identification: Benchmark and Method [58.59888754340054]
  MP-ReIDは、マルチモダリティとマルチプラットフォームReIDに特化した新しいデータセットである。 このベンチマークは、RGB、赤外線、サーマルイメージングなど、さまざまなモードで1,930のIDからデータをコンパイルする。 クロスモダリティとクロスプラットフォームシナリオに適した,特定設計のプロンプトを備えたフレームワークであるUni-Prompt ReIDを紹介する。
  論文  参考訳（メタデータ） (2025-03-21T12:27:49Z)
• OmniHD-Scenes: A Next-Generation Multimodal Dataset for Autonomous Driving [6.426389871517664]
  高品質なデータセットは、効率的なデータ駆動自律運転ソリューションの開発に不可欠である。 OmniHD-Scenesは大規模なマルチモーダルデータセットであり、全方位全方位高精細データを提供する。 データセットは1501のクリップで構成され、それぞれ約30秒の長さで、合計450K以上の同期フレームと585万以上の同期センサーデータポイントで構成されている。
  論文  参考訳（メタデータ） (2024-12-14T08:08:40Z)
• RoboSense: Large-scale Dataset and Benchmark for Egocentric Robot Perception and Navigation in Crowded and Unstructured Environments [62.5830455357187]
  我々は3種類のセンサー(Camera, LiDAR, Fisheye)をベースとした自我中心型マルチセンサデータ収集プラットフォームを構築した。 大規模なマルチモーダルデータセットであるRoboSenseは、エゴセントリックなロボット知覚を促進するために構築されている。
  論文  参考訳（メタデータ） (2024-08-28T03:17:40Z)
• UnLoc: A Universal Localization Method for Autonomous Vehicles using LiDAR, Radar and/or Camera Input [51.150605800173366]
  UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。 本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
  論文  参考訳（メタデータ） (2023-07-03T04:10:55Z)
• SUPS: A Simulated Underground Parking Scenario Dataset for Autonomous Driving [41.221988979184665]
  SUPSは地下自動駐車のシミュレーションデータセットである。 複数のセンサーと連続したイメージに合わせた複数のセマンティックラベルを備えた複数のタスクをサポートする。 また、我々のデータセット上で、最先端のSLAMアルゴリズムと知覚モデルを評価する。
  論文  参考訳（メタデータ） (2023-02-25T02:59:12Z)
• The LuViRA Dataset: Synchronized Vision, Radio, and Audio Sensors for Indoor Localization [41.58739817444644]
  データセットには、カラー画像、対応する深度マップ、慣性測定ユニット(IMU)読み取り、5Gの大規模マルチインプットとMIMO(Multiple-output)テストベッドとユーザ機器のチャネル応答が含まれる。 これらのセンサーを同期させて、すべてのデータが同時に記録されるようにします。 このデータセットの主な目的は、ローカライゼーションタスクに最もよく使用されるセンサーとのセンサー融合の研究を可能にすることである。
  論文  参考訳（メタデータ） (2023-02-10T15:12:40Z)
• SELMA: SEmantic Large-scale Multimodal Acquisitions in Variable Weather, Daytime and Viewpoints [36.57734409668748]
  セマンティックセグメンテーションのための新しいデータセットであるSELMAを紹介する。 RGB、ディープ、セマンティックカメラ、LiDARを含む24種類のセンサーから取得された30万以上のユニークなウェイポイントを含んでいる。 CARLAは、自動運転シナリオで合成データを生成するためのオープンソースのシミュレータである。
  論文  参考訳（メタデータ） (2022-04-20T21:22:56Z)
• TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset [50.8779574716494]
  イベントカメラはバイオインスパイアされた視覚センサーで、ピクセルごとの明るさの変化を測定する。 これらは、低レイテンシ、高ダイナミックレンジ、高時間分解能、低消費電力など、従来のフレームベースのカメラよりも多くの利点を提供する。 イベントカメラを用いた3次元認識・ナビゲーションアルゴリズムの開発を促進するため,TUM-VIEデータセットを提案する。
  論文  参考訳（メタデータ） (2021-08-16T19:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。