論文の概要: Vernata: Self-Supervised Learning of LiDAR Point Representations
- arxiv url: http://arxiv.org/abs/2608.06919v1
- Date: Fri, 07 Aug 2026 07:51:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.405049
- Title: Vernata: Self-Supervised Learning of LiDAR Point Representations
- Title(参考訳): Vernata: LiDARポイント表現の自己教師付き学習
- Abstract要約: 屋外LiDAR点雲における自己教師型学習のための多教師型蒸留フレームワークを提案する。
実験の結果,ソナタベースラインよりも優れた性能が得られた。
自己教師型アプローチは, モダリティの低い設定でも, 高い性能を維持していることを示す。
- 参考スコア(独自算出の注目度): 47.91691222306441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LiDAR serves as a primary sensing modality for robots operating in outdoor environments. However, the performance of deep learning models in this domain is severely limited by the scarcity of labeled data, a direct result of the high cost of 3D annotation. Self-supervised learning addresses this scarcity by learning general-purpose features from unlabeled data. In this work, we present a multi-modal, multi-teacher distillation framework for self-supervised learning on outdoor LiDAR point clouds. Building upon the Sonata architecture, we introduce Vernata, consisting of three extensions: sparse view augmentation to improve robustness against varying point densities, a memory bank mechanism to stabilize resource-constrained training, and cross-modal distillation utilizing dense, high-resolution 2D image features to enable fine-grained semantic guidance. We evaluate our method on the GrandTour, TartanGround, and Waymo datasets, as well as data collected from our own robotic platforms. Our experiments demonstrate a significant performance improvement over Sonata baselines, yielding mIoU scores of 54.7 on TartanGround (+5.9 points, +12.1%) and 57.1 on Waymo (+7.3 points, +14.7%). Finally, we show that the self-supervised approach maintains strong performance even in reduced-modality settings (lacking color or normals), achieving competitive mIoU scores of 49.4 and 50.2 on the respective datasets.
- Abstract(参考訳): LiDARは、屋外環境で動作しているロボットにとって、第一の知覚モダリティとして機能する。
しかし、この領域におけるディープラーニングモデルの性能はラベル付きデータの不足によって著しく制限されており、これは高コストの3Dアノテーションによる直接的な結果である。
自己教師付き学習は、ラベルのないデータから汎用的な特徴を学習することで、この不足に対処する。
本研究では,屋外LiDAR点雲上での自己教師型学習のためのマルチモーダル多教師蒸留フレームワークを提案する。
ソナタアーキテクチャを基盤として,様々な点密度に対するロバスト性向上のためのスパースビュー拡張,資源制約の安定化のためのメモリバンク機構,高解像度2次元画像特徴を用いたクロスモーダル蒸留という3つの拡張を取り入れたVernataを導入する。
GrandTour、TartanGround、Waymoのデータセットと、私たちのロボットプラットフォームから収集したデータに基づいて、私たちの手法を評価します。
実験の結果,TartanGroundでは54.7点(+5.9点,+12.1%),Waymoでは57.1点(+7.3点,+14.7%)であった。
最後に, 自己教師型アプローチは, モダリティの低下(色や正常さの低下)においても高い性能を維持し, それぞれのデータセットに対して, 49.4と50.2の競合mIoUスコアを達成できることを示す。
関連論文リスト
- Self-Improving 4D Perception via Self-Distillation [49.729154812786696]
SelfEvoは、非現実的なビデオを使用して、トレーニング済みのマルチビュー再構築を継続的に改善するセルフトレーニングフレームワークである。
我々は、損失信号、非対称性の形態、その他の訓練戦略を含む自己改善を効果的に行う設計選択を体系的に研究する。
全体として、SelfEvoはラベル付きデータを使わずに36.5%の動画深度推定と20.1%のカメラ推定を達成している。
論文 参考訳(メタデータ) (2026-04-09T17:59:04Z) - PanoEnv: Exploring 3D Spatial Intelligence in Panoramic Environments with Reinforcement Learning [5.308328605042682]
360パノラマ画像は、バーチャルリアリティー、自律運転、総合的なシーン理解のためのロボティクスでますます利用されている。
現在の視覚言語モデル(VLM)は、幾何学的歪みと限定的な3次元監督のため、等角射影(ERP)画像の空間的推論に苦慮している。
合成3D環境から構築した大規模VQAベンチマークであるPanoEnvを紹介する。
我々の7Bモデルは、新しい最先端性能を実現し、全体的な精度を52.93%(+3.59%)、オープンエンド精度を14.83%に改善し、構造化タスク性能を維持した。
論文 参考訳(メタデータ) (2026-02-25T15:12:17Z) - Active Zero: Self-Evolving Vision-Language Models through Active Environment Exploration [72.84714132070404]
受動的相互作用から視覚環境の能動的探索に移行する枠組みを提案する。
Active-Zeroでは,3つの共進化エージェントが採用されている。 モデルの機能フロンティアに基づいて,オープンワールドリポジトリからイメージを取得する検索だ。
12ベンチマークにわたるQwen2.5-VL-7B-インストラクションについて : Active-Zero 53.97 における推論タスクの平均精度(5.7%の改善)と一般理解における 59.77 について(3.9%の改善)
論文 参考訳(メタデータ) (2026-02-11T17:29:17Z) - STELAR-VISION: Self-Topology-Aware Efficient Learning for Aligned Reasoning in Vision [24.162895928364062]
トポロジを意識した推論のためのトレーニングフレームワークSTELAR-Visionを紹介する。
コアとなるTopoAugは、さまざまなトポロジカルな構造でトレーニングを充実させる合成データパイプラインだ。
MATH-VとVLM-S2Hでは、STELAR-Visionはベースモデルの精度を9.7%向上し、より大型のQwen2VL-72B-インストラクションを7.3%上回っている。
論文 参考訳(メタデータ) (2025-08-12T07:27:50Z) - Efficient Self-Supervised Learning for Earth Observation via Dynamic Dataset Curation [67.23953699167274]
自己教師付き学習(SSL)により、地球観測のための視覚基盤モデルの開発が可能になった。
EOでは、この課題は衛星画像に共通する冗長性と重尾分布によって増幅される。
本稿では,データセットの多様性とバランスを最大化し,SSL事前トレーニングを改善するために設計された動的データセットプルーニング戦略を提案する。
論文 参考訳(メタデータ) (2025-04-09T15:13:26Z) - GroundingSuite: Measuring Complex Multi-Granular Pixel Grounding [39.967352995143855]
GroundingSuiteは、ビジョンと言語モダリティのギャップを埋めることを目指している。
1)複数のVision-Language Model(VLM)エージェントを活用する自動データアノテーションフレームワーク,(2)9.56万の多様な参照表現とその対応するセグメンテーションを含む大規模トレーニングデータセット,(3)3800の画像からなる精巧にキュレートされた評価ベンチマーク。
GroundingSuiteトレーニングデータセットは、大幅なパフォーマンス向上を促進し、トレーニングされたモデルが最先端の結果を達成することを可能にする。
論文 参考訳(メタデータ) (2025-03-13T17:43:10Z) - 4D Contrastive Superflows are Dense 3D Representation Learners [62.433137130087445]
我々は,LiDARとカメラのペアを連続的に利用して事前学習の目的を確立するための,新しいフレームワークであるSuperFlowを紹介する。
学習効率をさらに向上するため,カメラビューから抽出した知識の整合性を高めるプラグイン・アンド・プレイ・ビュー・一貫性モジュールを組み込んだ。
論文 参考訳(メタデータ) (2024-07-08T17:59:54Z) - 3D Annotation-Free Learning by Distilling 2D Open-Vocabulary Segmentation Models for Autonomous Driving [17.42913935045091]
2D textbf Open-textbfVocabulary セグメンテーションモデルを用いた新しい3D textbf Annotation-textbfFree フレームワーク AFOV を提案する。
第一段階では、2次元オープン語彙モデルの高品質テキストと画像の特徴を革新的に統合し、TMP(Tri-Modal contrastive Pre-training)を提案する。
第2段階では、点雲と画像の間の空間マッピングを利用して擬似ラベルを生成し、交差を可能にする。
論文 参考訳(メタデータ) (2024-05-24T07:18:09Z) - Multi-Modal Data-Efficient 3D Scene Understanding for Autonomous Driving [58.16024314532443]
我々は、異なるLiDARスキャンからレーザービーム操作を統合するフレームワークであるLaserMix++を導入し、データ効率の学習を支援するためにLiDAR-カメラ対応を組み込んだ。
結果は、LaserMix++が完全に教師付き代替よりも優れており、5倍のアノテーションで同等の精度を実現していることを示している。
この大幅な進歩は、LiDARベースの3Dシーン理解システムにおける広範囲なラベル付きデータへの依存を減らすための半教師付きアプローチの可能性を示している。
論文 参考訳(メタデータ) (2024-05-08T17:59:53Z) - SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。
本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。
本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
論文 参考訳(メタデータ) (2023-09-19T11:13:01Z) - Monocular 3D Object Detection with LiDAR Guided Semi Supervised Active
Learning [2.16117348324501]
LiDAR誘導を用いたモノクロ3次元物体検出のための新しい半教師付き能動学習フレームワーク(SSAL)を提案する。
我々はLiDARを用いて、単分子型3D検出器のデータ選択とトレーニングを、推論フェーズのオーバーヘッドを伴わずにガイドする。
トレーニング戦略は,BEV平均精度(AP)を2.02倍に向上させることで,KITTI 3Dと鳥眼視(BEV)単眼物体検出の公式ベンチマークでトップとなる。
論文 参考訳(メタデータ) (2023-07-17T11:55:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。