論文の概要: Trinity: Unifying Class-Agnostic Terrain and Semantic Segmentation for Unstructured Outdoor Environments by Leveraging Synthetic Data
- arxiv url: http://arxiv.org/abs/2605.27644v1
- Date: Tue, 26 May 2026 20:04:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.497396
- Title: Trinity: Unifying Class-Agnostic Terrain and Semantic Segmentation for Unstructured Outdoor Environments by Leveraging Synthetic Data
- Title(参考訳): Trinity: セマンティックセグメンテーションとクラス非依存のセマンティックセグメンテーションの統合
- Authors: Marcus G Müller, Wout Boerdijk, Maximilian Durner, Riccardo Giubilato, Abel Gawel, Wolfgang Stürzl, Roland Siegwart, Rudolph Triebel,
- Abstract要約: 既存の視覚に基づくトラバーサビリティ推定手法は、ロボット固有のアノテーションやセマンティッククラスマッピングに依存している。
本稿では,クラス固有のセマンティックセマンティックセマンティックセマンティックとクラスに依存しない地形セマンティックセマンティックセマンティックセマンティックを共同で行うトランスフォーマーアーキテクチャを提案する。
クラス固有の地形ラベルとクラスに依存しない地形ラベルをアノテートした実世界の画像を提供するEXTerraデータセットを提案する。
- 参考スコア(独自算出の注目度): 20.795406392781647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Terrain understanding is fundamental for mobile robots operating in unstructured outdoor environments. Existing vision-based traversability estimation methods rely on robot-specific annotations or semantic class mappings, limiting transferability across platforms and requiring costly re-annotation when robot capabilities change, while standard semantic segmentation methods only focus on specific predefined classes, which do not capture the variety of terrains. In this work, we propose a transformer-based architecture that jointly performs class-specific semantic segmentation and class-agnostic terrain segmentation within a unified network, called Trinity. Terrain regions are segmented based solely on visual appearance, without predefined semantic labels or robot-dependent traversability scores. This formulation enables the learning of robot-agnostic visual terrain priors that can be combined with robot-specific experience for downstream tasks such as traversability estimation, visual odometry, and mission planning. To enable large-scale training with diverse terrain appearances, we extend the OAISYS simulator and introduce RUGDSynth, a synthetic dataset inspired by RUGD with class-agnostic terrain samples. Furthermore, we present the EXTerra Dataset, providing real-world images annotated with both class-specific and class-agnostic terrain labels. Experiments demonstrate the feasibility of the proposed task and the effectiveness of our joint segmentation approach in complex outdoor environments. Code and datasets will be released with this publication (after review).
- Abstract(参考訳): テランの理解は、非構造屋外環境で動く移動ロボットの基本である。
既存の視覚ベースのトラバーサビリティ推定手法は、ロボット固有のアノテーションやセマンティッククラスマッピング、プラットフォーム間の転送可能性の制限、ロボット能力の変化によるコストのかかる再アノテーションを必要とするが、標準的なセマンティックセグメンテーション手法は、様々な地形を捉えない特定の定義されたクラスにのみフォーカスする。
本研究では,クラス固有のセマンティックセマンティックセグメンテーションとクラス非依存な地形セグメンテーションを,Trinityと呼ばれる統合ネットワーク内で共同で行うトランスフォーマーアーキテクチャを提案する。
テランの領域は、事前に定義されたセマンティックラベルやロボット依存のトラバーサビリティスコアなしで、視覚的な外観のみに基づいてセグメンテーションされる。
この定式化により、移動可能性推定、視覚計測、ミッションプランニングといった下流タスクにおいて、ロボット固有の経験と組み合わせられるロボット非依存の視覚的地形の学習が可能になる。
OAISYSシミュレータを拡張し,RUGDにインスパイアされた合成データセットであるRUGDSynthを導入した。
さらに,クラス固有の地形ラベルとクラスに依存しない地形ラベルを付加した実世界の画像を提供するEXTerraデータセットを提案する。
実験は,提案課題の実現可能性と,複雑な屋外環境における共同セグメンテーション手法の有効性を実証する。
コードとデータセットは、このパブリッシュ(レビュー後)でリリースされる。
関連論文リスト
- Learning to Identify Out-of-Distribution Objects for 3D LiDAR Anomaly Segmentation [4.106285392075794]
既知のクラスと以前は目に見えないオブジェクトの区別は、現実世界の環境では不可欠である。
3D領域の研究は依然として限られており、既存のほとんどのアプローチは2Dビジョンから後処理技術を適用している。
特徴空間内で直接動作する新しい効率的な手法を提案し、異常なサンプルを制約するために不整形クラスの特徴分布をモデル化する。
論文 参考訳(メタデータ) (2026-04-26T08:32:07Z) - RemoteSAM: Towards Segment Anything for Earth Observation [29.707796048411705]
我々は、地球観測のための頑健でフレキシブルな視覚基盤モデルを開発することを目指している。
多様な視覚的目標を認識し、位置を特定する能力を持つべきである。
いくつかの地球観測知覚ベンチマークで新しいSoTAを確立する基盤モデルであるRemoteSAMを提案する。
論文 参考訳(メタデータ) (2025-05-23T15:27:57Z) - IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。
マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。
次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
論文 参考訳(メタデータ) (2025-04-09T12:36:48Z) - ZISVFM: Zero-Shot Object Instance Segmentation in Indoor Robotic Environments with Vision Foundation Models [10.858627659431928]
サービスロボットは、機能を強化するために、未知のオブジェクトを効果的に認識し、セグメント化する必要がある。
従来の教師付き学習ベースのセグメンテーション技術は、広範な注釈付きデータセットを必要とする。
本稿では,セグメンテーションアプライスモデル (SAM) の強力なゼロショット能力と,自己監督型視覚変換器 (ViT) からの明示的な視覚表現を活用することで,UOISを解く新しいアプローチ (ZISVFM) を提案する。
論文 参考訳(メタデータ) (2025-02-05T15:22:20Z) - Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation
for autonomous vehicles [63.20765930558542]
3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。
そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。
ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
論文 参考訳(メタデータ) (2023-02-16T13:41:19Z) - Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with
Self-Supervised Depth Estimation [94.16816278191477]
本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。
ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。
提案したモデルをCityscapesデータセット上で検証する。
論文 参考訳(メタデータ) (2021-08-28T01:33:38Z) - Grounded Situation Recognition [56.18102368133022]
画像の構造的要約を生成することを必要とする課題であるグラウンドドコンディション認識(GSR)を導入する。
GSRはセマンティック・サリエンシの識別、大規模で多様なエンティティの分類とローカライズという重要な技術的課題を提示している。
我々は,条件付きクエリ,視覚連鎖,接地型セマンティック・アウェアネス・イメージ検索の3つのモデルによって実現される3つの将来方向について,最初の知見を示す。
論文 参考訳(メタデータ) (2020-03-26T17:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。