論文の概要: Continual Road-Scene Semantic Segmentation via Feature-Aligned Symmetric Multi-Modal Network
- arxiv url: http://arxiv.org/abs/2308.04702v2
- Date: Mon, 24 Jun 2024 12:01:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 05:08:33.795779
- Title: Continual Road-Scene Semantic Segmentation via Feature-Aligned Symmetric Multi-Modal Network
- Title（参考訳）: 特徴適応対称型マルチモーダルネットワークによる連続的道路シーンセマンティックセマンティックセマンティックセグメンテーション
- Authors: Francesco Barbato, Elena Camuffo, Simone Milani, Pietro Zanuttigh,
- Abstract要約: 我々は、密結合した特徴表現と対称情報共有スキームを強制することにより、マルチモーダルなセマンティックセマンティックセマンティクスのタスクを再構築する。
また,安全クリティカルな環境においても,提案手法の有効性と信頼性を実証する,アドホックなクラス増分連続学習手法も導入する。
- 参考スコア（独自算出の注目度）: 15.196758664999455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art multimodal semantic segmentation strategies combining LiDAR and color data are usually designed on top of asymmetric information-sharing schemes and assume that both modalities are always available. This strong assumption may not hold in real-world scenarios, where sensors are prone to failure or can face adverse conditions that make the acquired information unreliable. This problem is exacerbated when continual learning scenarios are considered since they have stringent data reliability constraints. In this work, we re-frame the task of multimodal semantic segmentation by enforcing a tightly coupled feature representation and a symmetric information-sharing scheme, which allows our approach to work even when one of the input modalities is missing. We also introduce an ad-hoc class-incremental continual learning scheme, proving our approach's effectiveness and reliability even in safety-critical settings, such as autonomous driving. We evaluate our approach on the SemanticKITTI dataset, achieving impressive performances.
- Abstract（参考訳）: LiDARとカラーデータを組み合わせた最先端のマルチモーダルセマンティックセマンティックセマンティクス戦略は、通常、非対称な情報共有スキームの上に設計され、両方のモダリティが常に利用可能であると仮定される。
この強い仮定は、センサーが故障しがちな現実世界のシナリオに当てはまらないかもしれない。
この問題は、データ信頼性の厳しい制約があるため、連続的な学習シナリオを考慮するとさらに悪化する。
本研究では,複数モーダルなセマンティックセマンティックセマンティクスのタスクを,厳密に結合された特徴表現と対称的な情報共有スキームによって再編成する。
また,自律運転のような安全クリティカルな環境でも,アプローチの有効性と信頼性を実証する,アドホックなクラスインクリメンタルな学習手法も導入する。
我々はSemanticKITTIデータセットに対する我々のアプローチを評価し、優れたパフォーマンスを実現した。
関連論文リスト
- SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Controllable Adversaries [94.84458417662407]
本稿では,新しい拡散制御型クローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
我々は,認知過程における敵対的項を通して,安全クリティカルなシナリオをシミュレートする新しい手法を開発した。
我々はNuScenesデータセットを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳（メタデータ） (2023-12-31T04:14:43Z) - Regularized Conditional Alignment for Multi-Domain Text Classification [6.629561563470492]
本稿では,正規化条件アライメント(RCA)と呼ばれる手法を提案する。
我々は、ラベルのないデータに関する予測の不確実性を抑制するために、エントロピーの最小化と仮想対位トレーニングを採用している。
2つのベンチマークデータセットによる実験結果から、我々のRCAアプローチは最先端のMDTC技術より優れていることが示された。
論文 参考訳（メタデータ） (2023-12-18T05:52:05Z) - Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。
我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。
我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
論文 参考訳（メタデータ） (2023-08-01T10:02:26Z) - Continual Vision-Language Representation Learning with Off-Diagonal
Information [112.39419069447902]
CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。
本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
論文 参考訳（メタデータ） (2023-05-11T08:04:46Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Modeling Multimodal Aleatoric Uncertainty in Segmentation with Mixture
of Stochastic Expert [24.216869988183092]
入力画像にあいまいさが存在する場合、セグメンテーションにおけるデータ独立不確実性(いわゆるアレタリック不確実性)を捉えることに重点を置いている。
本稿では,各専門家ネットワークがアレータティック不確実性の異なるモードを推定する,新しい専門家モデル(MoSE)を提案する。
We developed a Wasserstein-like loss that makes direct minimizes the distribution distance between the MoSE and ground truth annotations。
論文 参考訳（メタデータ） (2022-12-14T16:48:21Z) - Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。
提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。
我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
論文 参考訳（メタデータ） (2021-11-25T17:33:12Z) - Acquisition-invariant brain MRI segmentation with informative
uncertainties [3.46329153611365]
ポストホックな多地点補正法は存在するが、現実のシナリオではしばしば成立しない強い仮定を持つ。
この研究は、セグメンテーションタスクの文脈において、獲得の物理学に堅牢になるようなアルゴリズムを実証している。
提案手法は, ホールドアウトデータセットの完全化, セグメンテーション品質の維持だけでなく, サイト固有のシーケンス選択も考慮しながら, 一般化できることを実証する。
論文 参考訳（メタデータ） (2021-11-07T13:58:04Z) - Contrastive learning of strong-mixing continuous-time stochastic
processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。
拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文 参考訳（メタデータ） (2021-03-03T23:06:47Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Learning Flat Latent Manifolds with VAEs [16.725880610265378]
本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。
我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。
提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
論文 参考訳（メタデータ） (2020-02-12T09:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。