論文の概要: SAM-VTP: Video Memory and Measured Geometry for Continuous Traversability Segmentation
- arxiv url: http://arxiv.org/abs/2611.12099v2
- Date: Wed, 11 Nov 2026 04:03:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.883
- Title: SAM-VTP: Video Memory and Measured Geometry for Continuous Traversability Segmentation
- Title(参考訳): SAM-VTP:連続的トラバーサビリティセグメンテーションのためのビデオメモリと計測幾何学
- Abstract要約: ビデオトラバーサビリティ予測は、自律ナビゲーションのコアコンポーネントである。
本稿ではSAM-VTP(Video Traversability Prediction)を提案する。
大規模な合成地上ロボットデータセットであるTartanGroundでは、SAM-VTPはファジィジャカードを0.908から0.924、バイナリIoUを0.854から0.886に改善し、SAM-TPはフレームワイドSAM2ベースラインである。
- 参考スコア(独自算出の注目度): 5.080506304069373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traversability prediction is a core component of autonomous navigation, yet most vision-based methods operate frame-wise and produce temporally inconsistent predictions. We present SAM-VTP (Video Traversability Prediction), which fine-tunes SAM2's video memory pathway for dense, prompt-free traversability segmentation, conditioning each frame on a persistent memory of prior observations. Rather than inferring terrain geometry from appearance, we measure it: slope, roughness and height are computed from depth and fused into the image features. We also introduce an offline continuous supervision pipeline that generates dense per-pixel traversability targets in [0,1] from depth-derived geometry and semantic priors, requiring no robot deployment and no per-pixel annotation, capturing conditional feasibility that binary labels cannot represent. On TartanGround, a large-scale synthetic ground-robot dataset, SAM-VTP improves fuzzy Jaccard from 0.908 to 0.924 and binary IoU from 0.854 to 0.886 over SAM-TP, a frame-wise SAM2 baseline, against a seed-to-seed spread below 0.001, and cuts frame-to-frame flicker by 31%. In closed-loop trials at two field sites, driving the same planner and controller, the baseline's dropouts leave the planner without a feasible path 3.3x more often on a paved course and 6.9x on rough ground, while SAM-VTP runs at 21.4 FPS on the Orin Nano the robot carries.
- Abstract(参考訳): トラバーサビリティ予測は自律ナビゲーションのコアコンポーネントであるが、ほとんどの視覚ベースの手法はフレーム単位で動作し、時間的に一貫性のない予測を生成する。
我々はSAM-VTP(Video Traversability Prediction, ビデオトラバーサビリティ予測)を提案し, SAM2の映像記憶経路を微細化し, 先行観測の持続メモリに各フレームを固定する。
地形の地形を外観から推定するのではなく, 傾斜, 粗さ, 高さを深度から算出し, 画像特徴に融合する。
また,[0,1] において,[0,1] の高密度な画素単位のトレーサビリティ目標を生成するオフライン連続監視パイプラインを導入し,ロボットの配置や画素単位のアノテーションを必要とせず,バイナリラベルが表現できない条件付き実現可能性を把握する。
大規模な合成地上ロボットデータセットであるTartanGroundでは、SAM-VTPはファジィジャカードを0.908から0.924へ、バイナリIoUを0.854から0.886まで改良し、SAM2ベースラインであるSAM-TPを0.001以下のシード・ツー・シードで切り離し、フレーム・ツー・フレームのフリックを31%削減した。
同一のプランナーとコントローラーを駆動する2つの現場でのクローズループ試験では、ベースラインのドロップアウトは舗装されたコースで3.3倍、荒地で6.9倍の頻度でプランナーを離れ、SAM-VTPはオリン・ナノで21.4 FPSで走行する。
関連論文リスト
- Streamlining stereo differentiable rendering for marker-free real-time tracking of surgical robots [7.312849670879312]
マーカーレスリアルタイムロボットのポーズトラッキングにおけるステレオ微分可能レンダリングの評価を行った。
リアルタイム1080pのトラッキングを30fps(バニラロベレグの14fpsからアップアップ)で達成し、カメラフレームレートにマッチする。
論文 参考訳(メタデータ) (2026-07-14T10:28:28Z) - SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking [39.49925011934288]
SAM2ベースのビジュアルオブジェクトトラッキングにおけるメモリ更新機構を再検討する。
本稿では,SENTRYについて紹介する。
コミットする前に、各メモリ更新を短時間の時間的一貫性で検証する。
論文 参考訳(メタデータ) (2026-06-23T11:35:15Z) - Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳(メタデータ) (2026-05-30T14:29:43Z) - SAM-Enhanced Segmentation on Road Datasets: Balancing Critical Classes in Autonomous Driving [0.0]
Zenseact Open dataset (ZOD)は、リッチなマルチセンサーデータを提供するが、バウンディングボックスラベルのみを提供する。
我々のパイプラインは、境界ボックスをセマンティックマスクに変換することで、ZODの高密度なピクセルレベルのアノテーションを生成する。
複雑なセマンティックセグメンテーションは自律運転には不可欠だが、多くのマルチモーダルデータセットにはピクセルレベルのアノテーションがない。
論文 参考訳(メタデータ) (2026-05-27T08:21:04Z) - Segment Anything with Motion, Geometry, and Semantic Adaptation for Complex Nonlinear Visual Object Tracking [81.34609950921023]
近年のビジョン基礎モデルはSAM 2で実証されている。
本稿では, SAM 2 を複雑な VOT シナリオに適用する新たなトラッキングフレームワーク SAMOSA を提案する。
論文 参考訳(メタデータ) (2026-05-21T14:25:28Z) - Instance-level Visual Active Tracking with Occlusion-Aware Planning [61.982298426203165]
Visual Active Tracking (VAT)は、カメラを3D空間でターゲットに追従することを目的としている。
VATは、視覚的に類似したイントラクタからの混乱と、閉塞下での深刻な障害という、現実世界のデプロイメントにおいて2つの重要なボトルネックに直面している。
3つの相補的なモジュールを持つ統一パイプラインであるOA-VATを提案する。
論文 参考訳(メタデータ) (2026-04-23T09:11:50Z) - 3AM: 3egment Anything with Geometric Consistency in Videos [32.069894075133305]
3AMは、MUSt3Rからの3D認識機能をSAM2に統合するトレーニング時間拡張である。
提案手法では,カメラのポーズや前処理を伴わず,推論時のRGB入力のみを必要とする。
幅広いベースラインモーション(ScanNet++、Replica)を持つ挑戦的なデータセットでは、3AMはSAM2と拡張を大きく上回っている。
論文 参考訳(メタデータ) (2026-01-13T18:59:54Z) - RoboTracer: Mastering Spatial Trace with Reasoning in Vision-Language Models for Robotics [53.053660003572965]
本稿では,3次元空間参照と計測の両方を初めて実現した3D対応VLMであるRoboTracerを提案する。
RoboTracerは、強化微調整により、多段階のメートル法推論を進める。
本稿では,空間的トレーシングを評価する上で困難なベンチマークであるTraceSpatial-Benchを提案する。
論文 参考訳(メタデータ) (2025-12-15T18:52:43Z) - EdgeTAM: On-Device Track Anything Model [65.10032957471824]
Segment Anything Model (SAM) 2はさらに、イメージからビデオへの入力をメモリバンク機構を通じて拡張する。
私たちはSAM 2をより効率的にし、同等のパフォーマンスを維持しながらモバイルデバイス上でも動作できるようにすることを目標としています。
計算コストを削減するために,新しい2次元空間知覚器を利用するEdgeTAMを提案する。
論文 参考訳(メタデータ) (2025-01-13T12:11:07Z) - Towards Label-free Scene Understanding by Vision Foundation Models [87.13117617056004]
ネットワークがラベル付きデータなしで2Dおよび3D世界を理解できるようにするためのビジョン基盤モデルの可能性について検討する。
本稿では,CLIPとSAMの強度を利用して2次元ネットワークと3次元ネットワークを同時に監視するクロスモダリティ・ノイズ・スーパービジョン(CNS)手法を提案する。
我々の2Dネットワークと3Dネットワークは、ScanNet上で28.4%と33.5%のmIoUでラベルなしセマンティックセグメンテーションを実現し、それぞれ4.7%と7.9%を改善した。
論文 参考訳(メタデータ) (2023-06-06T17:57:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。