Fugu-MT 論文翻訳(概要): Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout

論文の概要: Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout

arxiv url: http://arxiv.org/abs/2607.20326v1
Date: Wed, 22 Jul 2026 16:12:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-23 18:51:38.141907
Title: Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout
Title（参考訳）: 信頼性の高いRGB-Dセマンティックセグメンテーションに向けて:条件下降による損失モードの処理
Abstract要約: RGB-Dセマンティックセグメンテーションは目覚ましい進歩を遂げているが、ほとんどのモデルはRGBとディープが常に利用可能であると仮定している。本課題は,完全モダリティの精度を維持しながら劣化を緩和する,単純な継続学習パラダイムであるEmphCondition Dropout(ConD)を用いて解決する。 NYU-Depth V2 と SUN RGB-D の実験では、ConD はモダリティの欠如の下で改善され、モダリティが完成すればわずかに利得が得られる。
参考スコア（独自算出の注目度）: 5.4151434926077995
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: RGB-D semantic segmentation has achieved remarkable progress, yet most models assume that RGB and depth are always available. In practice, failures or occlusions of surveillance sensors often remove one modality. Although RGB or depth alone can contain sufficient cues, models trained only on full-modality inputs fail to exploit the remaining modality once one is missing, causing severe degradation. We tackle this issue with a simple continued-training paradigm, \emph{Condition Dropout (ConD)}, which mitigates degradation while preserving full-modality accuracy. Starting from a pretrained RGB-D model, ConD adds a second stage that randomly simulates complete, RGB-missing, and depth-missing inputs, freezes the original encoders, and trains copied encoders with zero-initialized feature injection. Experiments on NYU-Depth V2 and SUN RGB-D show that ConD improves robustness under missing modalities and even yields slight gains when modalities are complete. Our code will be made publicly available upon acceptance.
Abstract（参考訳）: RGB-Dセマンティックセグメンテーションは目覚ましい進歩を遂げているが、ほとんどのモデルはRGBとディープが常に利用可能であると仮定している。実際には、監視センサーの故障や閉塞は、しばしば一つのモダリティを取り除く。 RGBや深さだけでは十分な手がかりを含むことができるが、完全なモダリティ入力でのみ訓練されたモデルは、一度欠落した後に残りのモダリティを利用することができず、深刻な劣化を引き起こしている。本課題は, 完全モダリティの精度を維持しながら劣化を緩和する, 単純な継続学習パラダイムである \emph{Condition Dropout (ConD)} を用いて解決する。事前訓練されたRGB-Dモデルから始まり、ConDは第2段階を追加し、完全、RGB-missing、deep-missing入力をランダムにシミュレートし、元のエンコーダを凍結し、ゼロ初期化機能注入でコピーエンコーダを訓練する。 NYU-Depth V2 と SUN RGB-D の実験では、ConD はモダリティの欠如の下でロバスト性を改善し、モダリティが完成すればわずかに利得が得られる。私たちのコードは受理時に公開されます。

関連論文リスト

Rethinking Auxiliary Modalities in Multimodal Zero-shot Anomaly Detection: From Semantic Fusion to Conditional Modulation [38.070045759599225]
ゼロショット異常検出のためのプラグアンドプレイ補助条件拡張フレームワークを提案する。本フレームワークは,RGB画像テキスト異常マッチング経路を保存し,RGB特徴改善のための条件信号として補助観測を用いる。 MVTec 3D-ADとEyecandiesの実験は、我々のフレームワークが複数のRGBベースのゼロショット異常検知器を一貫して改善していることを示している。
論文参考訳（メタデータ） (2026-08-14T05:33:45Z)
Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark [68.49637363691325]
本稿では,RGB-NIR低照度画像に3次元ニューラルモデリングを取り入れた新しい視点を提供する。強力なモデルは、暗黙的に非常にノイズの多いRGB観測を3次元空間でNIRキューで融合させ、クリーンなRGBイメージを効果的に回収するために最適化することができる。
論文参考訳（メタデータ） (2026-07-31T17:59:18Z)
AnyHand: A Large-Scale Synthetic Dataset for RGB(-D) Hand Pose Estimation [50.62485061150716]
我々はAnyHandという大規模な合成データセットを提示する。既存のベースラインのトレーニングセットをAnyHandで拡張することで、複数のベンチマークで大幅に向上することを示す。また,既存のRGBモデルに容易に統合可能な軽量深度融合モジュールも提供しています。
論文参考訳（メタデータ） (2026-03-26T17:58:54Z)
Re-coding for Uncertainties: Edge-awareness Semantic Concordance for Resilient Event-RGB Segmentation [18.450662919776757]
本稿では,エッジ認識型セマンティック・コンセンサス・フレームワークを提案する。提案手法は,提案したDERS-XSに対して2.55% mIoUで最先端の手法である。
論文参考訳（メタデータ） (2025-11-11T14:00:27Z)
USCTNet: A deep unfolding nuclear-norm optimization solver for physically consistent HSI reconstruction [4.760798057976259]
単一RGB画像からのハイパースペクトル画像(HSI)の再構成は不一致であり、カメラスペクトル感度(CSS)とシーン照明が誤特定されると物理的に矛盾する可能性がある。我々は、RGB-to-HSI再構成を、学習可能な変換領域における核ノルムによって正規化された物理基底逆問題として定式化する。我々は、パラメータ推定モジュールと学習可能な近位更新を結合したHSIに適した深い展開解法であるUSCTNetを開発する。
論文参考訳（メタデータ） (2025-09-12T19:27:14Z)
Confidence-Aware RGB-D Face Recognition via Virtual Depth Synthesis [48.59382455101753]
2D顔認証は、照明、閉塞、ポーズの変化により、制約のない環境において課題に遭遇する。近年の研究では、深度情報を組み込んだRGB-D顔認証に焦点が当てられている。本研究では,まず,深度モデル事前学習のための3次元Morphable Modelsによって生成された多様な深度データセットを構築する。そこで本研究では,手軽に利用できるRGBと深度モデルを利用したドメイン非依存の事前学習フレームワークを提案する。
論文参考訳（メタデータ） (2024-03-11T09:12:24Z)
DFormer: Rethinking RGBD Representation Learning for Semantic Segmentation [76.81628995237058]
DFormerは、RGB-Dセグメンテーションタスクの転送可能な表現を学ぶための新しいフレームワークである。 ImageNet-1Kから画像深度ペアを使用してバックボーンを事前トレーニングする。 DFormerは2つのRGB-Dタスクで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2023-09-18T11:09:11Z)
Pyramidal Attention for Saliency Detection [30.554118525502115]
本稿では,RGB画像のみを活用し,RGBから深度を推定し,中間深度特性を利用する。ピラミッド型アテンション構造を用いて,マルチレベル畳み込み変換器の特徴を抽出し,初期表現の処理を行う。我々は8つのRGBおよびRGB-Dデータセット上で21と40の最先端SOD法に対する性能を著しく改善したことを報告した。
論文参考訳（メタデータ） (2022-04-14T06:57:46Z)
Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
論文参考訳（メタデータ） (2022-01-01T03:02:27Z)
Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文参考訳（メタデータ） (2020-07-17T18:35:24Z)
Synergistic saliency and depth prediction for RGB-D saliency detection [76.27406945671379]
既存のRGB-Dサリエンシデータセットは小さく、多様なシナリオに対して過度に適合し、限定的な一般化につながる可能性がある。そこで本研究では,RGB-Dサリエンシ検出のための半教師付きシステムを提案する。
論文参考訳（メタデータ） (2020-07-03T14:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。