論文の概要: Multi-Modality Driven LoRA for Adverse Condition Depth Estimation

• arxiv url: http://arxiv.org/abs/2412.20162v1
• Date: Sat, 28 Dec 2024 14:23:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:31.164215
• Title: Multi-Modality Driven LoRA for Adverse Condition Depth Estimation
• Title（参考訳）: 逆条件深さ推定のための多モード駆動型LORA
• Authors: Guanglei Yang, Rui Tian, Yongqiang Zhang, Zhun Zhong, Yongqiang Li, Wangmeng Zuo,
• Abstract要約: 逆条件深さ推定のためのMulti-Modality Driven LoRA(MMD-LoRA)を提案する。 Prompt Driven Domain Alignment (PDDA) と Visual-Text Consistent Contrastive Learning (VTCCL) の2つのコアコンポーネントで構成されている。 nuScenesとOxford RobotCarデータセットの最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 61.525312117638116
• License:
• Abstract: The autonomous driving community is increasingly focused on addressing corner case problems, particularly those related to ensuring driving safety under adverse conditions (e.g., nighttime, fog, rain). To this end, the task of Adverse Condition Depth Estimation (ACDE) has gained significant attention. Previous approaches in ACDE have primarily relied on generative models, which necessitate additional target images to convert the sunny condition into adverse weather, or learnable parameters for feature augmentation to adapt domain gaps, resulting in increased model complexity and tuning efforts. Furthermore, unlike CLIP-based methods where textual and visual features have been pre-aligned, depth estimation models lack sufficient alignment between multimodal features, hindering coherent understanding under adverse conditions. To address these limitations, we propose Multi-Modality Driven LoRA (MMD-LoRA), which leverages low-rank adaptation matrices for efficient fine-tuning from source-domain to target-domain. It consists of two core components: Prompt Driven Domain Alignment (PDDA) and Visual-Text Consistent Contrastive Learning(VTCCL). During PDDA, the image encoder with MMD-LoRA generates target-domain visual representations, supervised by alignment loss that the source-target difference between language and image should be equal. Meanwhile, VTCCL bridges the gap between textual features from CLIP and visual features from diffusion model, pushing apart different weather representations (vision and text) and bringing together similar ones. Through extensive experiments, the proposed method achieves state-of-the-art performance on the nuScenes and Oxford RobotCar datasets, underscoring robustness and efficiency in adapting to varied adverse environments.
• Abstract（参考訳）: 自動運転コミュニティは、特に悪条件(夜間、霧、雨など)下での運転安全を確保することに焦点を当てている。 この目的のために, 逆条件深度推定(ACDE)の課題が注目されている。 ACDEのこれまでのアプローチは主に生成モデルに依存しており、日当たり条件を悪天候に変換するために追加のターゲット画像を必要とする。 さらに,テキスト的特徴と視覚的特徴が事前整列されたCLIP法とは異なり,深度推定モデルはマルチモーダル特徴との十分な整合性を欠き,悪条件下でのコヒーレントな理解を妨げている。 これらの制約に対処するために、ソースドメインからターゲットドメインへの効率的な微調整のために低ランク適応行列を利用するMulti-Modality Driven LoRA(MMD-LoRA)を提案する。 Prompt Driven Domain Alignment (PDDA) と Visual-Text Consistent Contrastive Learning (VTCCL) の2つのコアコンポーネントで構成されている。 PDDA中、MDD-LoRAを用いた画像エンコーダは、アライメント損失により、言語と画像のソースターゲット差が等しくなるように、ターゲットドメインの視覚表現を生成する。 一方、VTCCLは、CLIPからのテキスト機能と拡散モデルからの視覚的特徴のギャップを埋め、異なる天気表現(ビジョンとテキスト)を分割し、同様の特徴をまとめる。 提案手法は大規模な実験を通じて, nuScenesおよびOxford RobotCarデータセットの最先端性能を実現し, 各種有害環境への適応におけるロバスト性および効率性を実証した。

関連論文リスト

• Semantic-Aligned Adversarial Evolution Triangle for High-Transferability Vision-Language Attack [51.16384207202798]
  視覚言語事前学習モデルは多モーダル逆例(AE)に対して脆弱である 従来のアプローチでは、画像とテキストのペアを拡大して、敵対的なサンプル生成プロセス内での多様性を高めている。 本稿では, 敵の多様性を高めるために, クリーン, ヒストリ, および現在の敵の例からなる敵の進化三角形からのサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-11-04T23:07:51Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• Boosting Visual Recognition in Real-world Degradations via Unsupervised Feature Enhancement Module with Deep Channel Prior [22.323789227447755]
  霧、低照度、動きのぼかしは画像の品質を低下させ、自動運転の安全性を脅かす。 本研究は、劣化した視覚認識のための新しいDeep Channel Prior (DCP)を提案する。 これに基づいて、教師なし特徴補正を実現するために、新しいプラグアンドプレイunsupervised Feature Enhancement Module (UFEM)を提案する。
  論文  参考訳（メタデータ） (2024-04-02T07:16:56Z)
• Reinforcement Learning for SAR View Angle Inversion with Differentiable SAR Renderer [7.112962861847319]
  本研究の目的は,合成開口レーダ(SAR)画像における目標モデルによるレーダー視角の反転である。 エージェントと環境との相互作用を容易にするために、微分可能SARレンダリング(DSR)という電磁シミュレータが組み込まれている。
  論文  参考訳（メタデータ） (2024-01-02T11:47:58Z)
• DARTH: Holistic Test-time Adaptation for Multiple Object Tracking [87.72019733473562]
  複数物体追跡(MOT)は、自律運転における知覚システムの基本的構成要素である。 運転システムの安全性の追求にもかかわらず、テスト時間条件における領域シフトに対するMOT適応問題に対する解決策は提案されていない。 我々はMOTの総合的なテスト時間適応フレームワークであるDARTHを紹介する。
  論文  参考訳（メタデータ） (2023-10-03T10:10:42Z)
• Unsupervised Video Domain Adaptation for Action Recognition: A Disentanglement Perspective [37.45565756522847]
  我々は2つの潜在要因からドメイン間ビデオを生成することを検討する。 TranSVAEフレームワークはそのような世代をモデル化するために開発される。 UCF-HMDB、Jester、Epic-Kitchensデータセットの実験は、TranSVAEの有効性と優位性を検証する。
  論文  参考訳（メタデータ） (2022-08-15T17:59:31Z)
• Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label Diffusion [51.11295961195151]
  運転シーンの霧画像列の特徴を利用して、自信ある擬似ラベルを密度化する。 局所的な空間的類似性と逐次画像データの隣接時間対応の2つの発見に基づいて,新たなターゲット・ドメイン駆動擬似ラベル拡散方式を提案する。 本手法は,2つの天然霧のデータセット上で51.92%,53.84%の平均交叉結合(mIoU)を達成するのに有効である。
  論文  参考訳（メタデータ） (2022-06-10T05:16:50Z)
• Mitigating Modality Collapse in Multimodal VAEs via Impartial Optimization [7.4262579052708535]
  この効果はマルチモーダルVAEトレーニングにおける勾配の相反の結果である,と我々は主張する。 勾配が矛盾する計算グラフのサブグラフを検出する方法を示す。 実験により,本フレームワークは,モジュール間の遅延空間の再構成性能,条件生成,コヒーレンスを著しく向上させることを示した。
  論文  参考訳（メタデータ） (2022-06-09T13:29:25Z)
• FCL-GAN: A Lightweight and Real-Time Baseline for Unsupervised Blind Image Deblurring [72.43250555622254]
  本稿では,周波数領域の競合損失制約型軽量サイクルGANと呼ばれる,軽量でリアルタイムな非教師付きBIDベースラインを提案する。 FCL-GANは、画像領域制限がなく、画像解像度制限がなく、SOTAより25倍軽く、SOTAより5倍高速である。 いくつかの画像データセットの実験では、性能、モデルサイズ、参照時間の観点からFCL-GANの有効性が示されている。
  論文  参考訳（メタデータ） (2022-04-16T15:08:03Z)
• An Unsupervised Domain Adaptive Approach for Multimodal 2D Object Detection in Adverse Weather Conditions [5.217255784808035]
  本稿では、ソースとターゲットドメイン間のドメインギャップを埋めるために、教師なしのドメイン適応フレームワークを提案する。 天候の歪みをシミュレートするデータ拡張方式を用いて、ドメインの混乱を増し、ソースデータへの過度な適合を防止する。 DENSEデータセットで行った実験は、我々の手法がドメインギャップを大幅に軽減できることを示している。
  論文  参考訳（メタデータ） (2022-03-07T18:10:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。