論文の概要: Continual Road-Scene Semantic Segmentation via Feature-Aligned Symmetric
Multi-Modal Network
- arxiv url: http://arxiv.org/abs/2308.04702v1
- Date: Wed, 9 Aug 2023 04:46:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 15:12:34.254933
- Title: Continual Road-Scene Semantic Segmentation via Feature-Aligned Symmetric
Multi-Modal Network
- Title（参考訳）: 特徴整合対称マルチモーダルネットワークによる連続的道路・シーン意味セグメンテーション
- Authors: Francesco Barbato, Elena Camuffo, Simone Milani, Pietro Zanuttigh
- Abstract要約: 我々は、密結合した特徴表現と対称情報共有スキームを強制することにより、マルチモーダルなセマンティックセマンティックセマンティクスのタスクを再構築する。
これにより、自動運転車の場合と同様に、安全クリティカルな設定でもモデルが信頼性を保ちます。
- 参考スコア（独自算出の注目度）: 21.93241419510555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art multimodal semantic segmentation approaches combining LiDAR
and color data are usually designed on top of asymmetric information-sharing
schemes and assume that both modalities are always available. Regrettably, this
strong assumption may not hold in real-world scenarios, where sensors are prone
to failure or can face adverse conditions (night-time, rain, fog, etc.) that
make the acquired information unreliable. Moreover, these architectures tend to
fail in continual learning scenarios. In this work, we re-frame the task of
multimodal semantic segmentation by enforcing a tightly-coupled feature
representation and a symmetric information-sharing scheme, which allows our
approach to work even when one of the input modalities is missing. This makes
our model reliable even in safety-critical settings, as is the case of
autonomous driving. We evaluate our approach on the SemanticKITTI dataset,
comparing it with our closest competitor. We also introduce an ad-hoc continual
learning scheme and show results in a class-incremental continual learning
scenario that prove the effectiveness of the approach also in this setting.
- Abstract（参考訳）: LiDARとカラーデータを組み合わせた最先端のマルチモーダルセマンティックセマンティックセマンティクスアプローチは、通常非対称な情報共有スキームの上に設計され、両方のモダリティが常に利用可能であると仮定する。
この強い仮定は、センサーが故障しがちな現実世界のシナリオや、取得した情報が信頼できないような悪条件(夜間、雨、霧など)に直面するようなシナリオには当てはまらないかもしれない。
さらに、これらのアーキテクチャは継続的な学習シナリオで失敗する傾向があります。
本研究では,機能表現と対称情報共有スキームを強固に結合することにより,入力モダリティの1つが欠落しても動作可能なマルチモーダル意味セグメンテーションのタスクを再構築する。
これにより、自動運転車の場合と同様に、安全クリティカルな設定でもモデルが信頼性を保ちます。
我々はSemanticKITTIデータセットに対する我々のアプローチを評価し、最も近い競合相手と比較した。
また,本手法の有効性を実証する手法として,アドホックな連続学習手法を導入し,その結果をクラスインクリメンタルな連続学習シナリオで示す。
関連論文リスト
- SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。
複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳（メタデータ） (2023-12-31T04:14:43Z) - Regularized Conditional Alignment for Multi-Domain Text Classification [6.629561563470492]
本稿では,正規化条件アライメント(RCA)と呼ばれる手法を提案する。
我々は、ラベルのないデータに関する予測の不確実性を抑制するために、エントロピーの最小化と仮想対位トレーニングを採用している。
2つのベンチマークデータセットによる実験結果から、我々のRCAアプローチは最先端のMDTC技術より優れていることが示された。
論文 参考訳（メタデータ） (2023-12-18T05:52:05Z) - Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。
我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。
我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
論文 参考訳（メタデータ） (2023-08-01T10:02:26Z) - Continual Vision-Language Representation Learning with Off-Diagonal
Information [112.39419069447902]
CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。
本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
論文 参考訳（メタデータ） (2023-05-11T08:04:46Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Modeling Multimodal Aleatoric Uncertainty in Segmentation with Mixture
of Stochastic Expert [24.216869988183092]
入力画像にあいまいさが存在する場合、セグメンテーションにおけるデータ独立不確実性(いわゆるアレタリック不確実性)を捉えることに重点を置いている。
本稿では,各専門家ネットワークがアレータティック不確実性の異なるモードを推定する,新しい専門家モデル(MoSE)を提案する。
We developed a Wasserstein-like loss that makes direct minimizes the distribution distance between the MoSE and ground truth annotations。
論文 参考訳（メタデータ） (2022-12-14T16:48:21Z) - Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。
提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。
我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
論文 参考訳（メタデータ） (2021-11-25T17:33:12Z) - Acquisition-invariant brain MRI segmentation with informative
uncertainties [3.46329153611365]
ポストホックな多地点補正法は存在するが、現実のシナリオではしばしば成立しない強い仮定を持つ。
この研究は、セグメンテーションタスクの文脈において、獲得の物理学に堅牢になるようなアルゴリズムを実証している。
提案手法は, ホールドアウトデータセットの完全化, セグメンテーション品質の維持だけでなく, サイト固有のシーケンス選択も考慮しながら, 一般化できることを実証する。
論文 参考訳（メタデータ） (2021-11-07T13:58:04Z) - Contrastive learning of strong-mixing continuous-time stochastic
processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。
拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文 参考訳（メタデータ） (2021-03-03T23:06:47Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Learning Flat Latent Manifolds with VAEs [16.725880610265378]
本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。
我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。
提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
論文 参考訳（メタデータ） (2020-02-12T09:54:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。