論文の概要: Mask What Matters: Saliency-Guided Video Self-Supervised Learning for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2608.17178v1
• Date: Mon, 17 Aug 2026 22:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.156234
• Title: Mask What Matters: Saliency-Guided Video Self-Supervised Learning for Autonomous Driving
• Title（参考訳）: マスクとは何か: 自律運転のための自己指導型ビデオ学習
• Abstract要約: V-JEPA4A(V-JEPA4A)は、自律運転のためのドメイン特化版であり、新規なサリエンシ駆動マスキングポリシを備えた、一般公開された運転ビデオに事前トレーニングされている。 V-JEPA4Aは、BDD100k MOTのアイデンティティスイッチを、ランダムマスキングでV-JEPAよりも25%削減し、シティでは73.2 mIoU、KITTI-2015の深さでは3.75 RMSEを達成した。
• 参考スコア（独自算出の注目度）: 57.56568641990586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video self-supervised learning through masked spatiotemporal prediction has emerged as a promising paradigm for learning feature representations from unlabeled data. However, existing methods typically rely on random masking, which indiscriminately removes regions irrespective of their semantic or temporal relevance. In ego-centric driving videos, this can weaken the pretext signal since safety-critical cues such as pedestrians, vehicles, lane boundaries, and dynamic interactions often occupy only a small portion of the frame, yet are central to downstream perception. We introduce V-JEPA4A, a domain-specialized variant of V-JEPA for autonomous driving that is pre-trained on publicly available driving videos with a novel saliency-driven masking policy. It accounts for semantically and temporally relevant context. The proposed policy preserves and predicts context according to semantic importance and temporal relevance, yielding more informative representation learning while retaining the efficiency of masked prediction. We evaluate the resulting encoders on four driving benchmarks spanning tracking, semantic segmentation, and depth estimation. The results demonstrate that V-JEPA4A reduces identity switches on BDD100k MOT by 25% over V-JEPA with random masking, achieves 73.2 mIoU on Cityscapes, and 3.75 RMSE on KITTI-2015 depth, while incurring only ~14% additional pre-training iteration overhead.
• Abstract（参考訳）: マスク付き時空間予測による自己教師型学習は,ラベルのないデータから特徴表現を学習するための有望なパラダイムとして浮上している。 しかし、既存の手法は一般的にランダムマスキングに依存しており、意味や時間的関連性に関わらず、無差別に領域を除去する。 エゴ中心の運転ビデオでは、歩行者、車、車線の境界線、動的相互作用といった安全クリティカルな手段がフレームのごく一部を占めるが、下流の知覚の中心であるため、プレテキストの信号が弱まる可能性がある。 V-JEPA4A(V-JEPA4A)は、自律運転のためのドメイン特化版であり、新規なサリエンシ駆動マスキングポリシを備えた、一般公開された運転ビデオに事前トレーニングされている。 意味的・時間的に関係のある文脈である。 提案手法は意味的重要性と時間的関連性に応じて文脈を保存・予測し,マスキング予測の効率を保ちながら,より情報的な表現学習を実現する。 追跡,セマンティックセグメンテーション,深さ推定を対象とする4つの駆動ベンチマークにおいて,結果のエンコーダを評価する。 結果は、V-JEPA4AがBDD100k MOTのアイデンティティスイッチを、ランダムなマスキングで25%削減し、Cityscapesで73.2 mIoU、KITTI-2015の深さで3.75 RMSEを達成し、さらに14%追加のトレーニング済みイテレーションオーバーヘッドが生じることを示した。

関連論文リスト

• DVPSFormer: Efficient Online Depth-aware Video Panoptic Segmentation for Autonomous Driving [89.17723223258513]
  ビデオパノプティックセグメンテーション(DVPS)は、メートル法深度、セマンティックセグメンテーション、インスタンストラジェクトリを統一する。 既存のアプローチは計算コストがかかるマルチステージパイプラインやオフライントラッキングに依存しており、リアルタイムな意思決定には適さない。 DVPSFormerは、効率的な4Dシーン理解のために設計された統合されたオンラインアーキテクチャである。
  論文  参考訳（メタデータ） (2026-07-28T18:16:00Z)
• TGRIP: A Text-Guided Approach to Vehicle Instance Prediction in Autonomous Driving [1.5327485092552822]
  Birds-Eye View (BEV) エンドツーエンドのインスタンス予測は、自律運転認識のための堅牢なパラダイムとして登場した。 現在の最先端のアプローチは、占有率の回帰や光の流れといった幾何学的監督に大きく依存している。 このギャップを埋める新しいフレームワークであるText-Guided Representation for Instance Prediction (TGRIP)を紹介します。
  論文  参考訳（メタデータ） (2026-07-06T08:47:56Z)
• How Well Do Vision-Language Models Understand Sequential Driving Scenes? A Sensitivity Study [2.6954666679827137]
  VENUSSは連続運転シーンにおけるVLM性能の系統的感度解析のためのフレームワークである。 ドライビングビデオから時間的シーケンスを抽出し、カスタムカテゴリ間で構造化された評価を生成する。 トップモデルでさえ、同じような制約で人間のパフォーマンスにマッチせず、57%の精度しか達成できないことを示す。
  論文  参考訳（メタデータ） (2026-04-08T07:14:55Z)
• Predicting the Road Ahead: A Knowledge Graph based Foundation Model for Scene Understanding in Autonomous Driving [16.94669292450282]
  本稿では,自動運転におけるシーン理解のための象徴的基礎モデル(FM)の学習手法であるFM4SUを提案する。 知識グラフ(KG)を活用して、道路トポロジや交通規則、交通参加者間の複雑な相互作用といったドメイン知識とともに、感覚観察をキャプチャする。 その結果、細調整されたモデルでは全てのタスクにおいて精度が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-03-24T14:38:25Z)
• DAVE: Diverse Atomic Visual Elements Dataset with High Representation of Vulnerable Road Users in Complex and Unpredictable Environments [60.69159598130235]
  Vulnerable Road Users (VRU) の高表現による認識手法の評価を目的とした新しいデータセット DAVE を提案する。 DAVEは16種類のアクターカテゴリー(動物、人間、車など)と16種類のアクションタイプ(カットイン、ジグザグ運動、Uターンなど、複雑で稀なケース)を手動でアノテートしたデータセットである。 実験の結果,既存の手法はDAVEで評価すると性能の劣化に悩まされ,将来的なビデオ認識研究のメリットを浮き彫りにしていることがわかった。
  論文  参考訳（メタデータ） (2024-12-28T06:13:44Z)
• GPT-4V Takes the Wheel: Promises and Challenges for Pedestrian Behavior Prediction [12.613528624623514]
  本研究は,自律運転における歩行者行動予測の文脈において,視覚言語モデル(VLM)の定量的および定性的な評価を行った最初のものである。 JAAD と WiDEVIEW を用いて GPT-4V の評価を行った。 このモデルは、ゼロショット方式で57%の精度で達成されているが、それでもなお、歩行者の横断行動を予測する最先端のドメイン固有モデル(70%)の背後にある。
  論文  参考訳（メタデータ） (2023-11-24T18:02:49Z)
• Implicit Occupancy Flow Fields for Perception and Prediction in Self-Driving [68.95178518732965]
  自動運転車(SDV)は、周囲を認識でき、他の交通参加者の将来の行動を予測できなければならない。 既存の作業は、検出されたオブジェクトの軌跡が続くオブジェクト検出を実行するか、シーン全体の密度の高い占有とフローグリッドを予測するかのいずれかである。 これは、認識と将来の予測に対する統一されたアプローチを動機付け、単一のニューラルネットワークで時間とともに占有とフローを暗黙的に表現します。
  論文  参考訳（メタデータ） (2023-08-02T23:39:24Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• Predicting Pedestrian Crossing Intention with Feature Fusion and Spatio-Temporal Attention [0.0]
  歩行者の交差の意図は都市運転のためにリアルタイムで認識されるべきです。 最近の研究は、このタスクに視覚ベースのディープニューラルネットワークモデルを使用することの可能性を示している。 本研究は,歩行者横断意図予測において,本質的に異なる時間的特徴を融合するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-04-12T14:10:25Z)
• Safety-Oriented Pedestrian Motion and Scene Occupancy Forecasting [91.69900691029908]
  我々は、個々の動きとシーン占有マップの両方を予測することを提唱する。 歩行者の相対的な空間情報を保存するScene-Actor Graph Neural Network (SA-GNN)を提案する。 2つの大規模な実世界のデータセットで、我々のシーン占有率予測が最先端のモーション予測手法よりも正確でより校正されていることを示した。
  論文  参考訳（メタデータ） (2021-01-07T06:08:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。