論文の概要: DualDiff+: Dual-Branch Diffusion for High-Fidelity Video Generation with Reward Guidance

• arxiv url: http://arxiv.org/abs/2503.03689v1
• Date: Wed, 05 Mar 2025 17:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:51:55.870404
• Title: DualDiff+: Dual-Branch Diffusion for High-Fidelity Video Generation with Reward Guidance
• Title（参考訳）: DualDiff+:Dual-Branch Diffusion for High-Fidelity Video Generation with Reward Guidance
• Authors: Zhao Yang, Zezhong Qian, Xiaofan Li, Weixiang Xu, Gongpeng Zhao, Ruohong Yu, Lingsi Zhu, Longjun Liu,
• Abstract要約: 本稿では,複数のビューやビデオシーケンスをまたいだ運転シーン生成を支援する条件拡散モデルであるDualDiffを提案する。 微粒な前景オブジェクトの合成を改善するために,FGM (Foreground-Aware Mask) denoising loss関数を提案する。 また,関連する情報を動的に優先順位付けし,ノイズを抑えるために,意味融合注意(Semantic Fusion Attention,SFA)機構を開発した。
• 参考スコア（独自算出の注目度）: 5.113012982922924
• License:
• Abstract: Accurate and high-fidelity driving scene reconstruction demands the effective utilization of comprehensive scene information as conditional inputs. Existing methods predominantly rely on 3D bounding boxes and BEV road maps for foreground and background control, which fail to capture the full complexity of driving scenes and adequately integrate multimodal information. In this work, we present DualDiff, a dual-branch conditional diffusion model designed to enhance driving scene generation across multiple views and video sequences. Specifically, we introduce Occupancy Ray-shape Sampling (ORS) as a conditional input, offering rich foreground and background semantics alongside 3D spatial geometry to precisely control the generation of both elements. To improve the synthesis of fine-grained foreground objects, particularly complex and distant ones, we propose a Foreground-Aware Mask (FGM) denoising loss function. Additionally, we develop the Semantic Fusion Attention (SFA) mechanism to dynamically prioritize relevant information and suppress noise, enabling more effective multimodal fusion. Finally, to ensure high-quality image-to-video generation, we introduce the Reward-Guided Diffusion (RGD) framework, which maintains global consistency and semantic coherence in generated videos. Extensive experiments demonstrate that DualDiff achieves state-of-the-art (SOTA) performance across multiple datasets. On the NuScenes dataset, DualDiff reduces the FID score by 4.09% compared to the best baseline. In downstream tasks, such as BEV segmentation, our method improves vehicle mIoU by 4.50% and road mIoU by 1.70%, while in BEV 3D object detection, the foreground mAP increases by 1.46%. Code will be made available at https://github.com/yangzhaojason/DualDiff.
• Abstract（参考訳）: 高精度かつ高忠実な運転シーン再構築では,条件入力として包括的シーン情報の有効活用が求められている。 既存の方法は、主に前景と背景制御のための3DバウンディングボックスとBEVロードマップに依存しており、運転シーンの完全な複雑さを捉えることができず、マルチモーダル情報を適切に統合する。 本研究では,複数のビューと映像シーケンスをまたいだ駆動シーン生成を向上する2分岐条件拡散モデルであるDualDiffを提案する。 具体的には,Occupancy Ray-Shape Smpling (ORS) を条件入力として導入し,両要素の生成を正確に制御するための3次元空間幾何学とともに,背景と背景の豊かなセマンティクスを提供する。 微粒な前景オブジェクト,特に複雑で遠い物体の合成を改善するために,FGM(フォアグラウンド・アウェア・マスク)デノナイズ・ロス関数を提案する。 さらに,関連する情報を動的に優先順位付けし,ノイズを抑え,より効果的なマルチモーダル融合を実現するためのセマンティック・フュージョン・アテンション(SFA)機構を開発した。 最後に,高品質な映像合成を実現するために,生成ビデオのグローバルな一貫性とセマンティックコヒーレンスを維持するReward-Guided Diffusion(RGD)フレームワークを導入する。 大規模な実験では、DualDiffが複数のデータセットにわたる最先端(SOTA)のパフォーマンスを達成することが示されている。 NuScenesデータセットでは、DualDiffは最高のベースラインに比べてFIDスコアを4.09%削減している。 BEVセグメンテーションなどの下流タスクでは、車両mIoUを4.50%改善し、道路mIoUを1.70%改善する一方、BEV 3Dオブジェクト検出では、前景mAPを1.46%向上させる。 コードはhttps://github.com/yangzhaojason/DualDiff.comで公開される。

関連論文リスト

• LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [52.83707400688378]
  LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。 我々のフレームワークは、VFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出し、LiDAR点雲に整列して高品質なコントラストサンプルを生成する。 提案手法は,LDARに基づくセグメント化とオブジェクト検出の両面において,線形探索と微調整の両作業において,最先端の手法よりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2025-01-07T18:59:59Z)
• Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
  既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。 本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。 我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
  論文  参考訳（メタデータ） (2024-10-09T22:57:47Z)
• IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation [136.5813547244979]
  高品質な人中心型ビデオ深度生成のためのIDOL(unIfied Dual-mOdal Latent diffusion)を提案する。 我々のIDOLは2つの新しい設計で構成されている。第一に、デュアルモーダル生成を可能にし、ビデオと深度生成の間の情報交換を最大化する。 次に,映像と深度特徴運動場との整合性を実現する動きの整合性損失を提案する。
  論文  参考訳（メタデータ） (2024-07-15T17:36:54Z)
• E2E-MFD: Towards End-to-End Synchronous Multimodal Fusion Detection [21.185032466325737]
  マルチモーダル核融合検出のための新しいエンドツーエンドアルゴリズムであるE2E-MFDを紹介する。 E2E-MFDはプロセスの合理化を図り、単一のトレーニングフェーズで高いパフォーマンスを達成する。 複数の公開データセットに対する広範なテストは、E2E-MFDの優れた機能を明らかにします。
  論文  参考訳（メタデータ） (2024-03-14T12:12:17Z)
• AutoAlignV2: Deformable Feature Aggregation for Dynamic Multi-Modal 3D Object Detection [17.526914782562528]
  我々はAutoAlign上に構築された高速で強力なマルチモーダル3D検出フレームワークであるAutoAlignV2を提案する。 我々の最良のモデルは、nuScenesテストのリーダーボード上で72.4 NDSに達し、新しい最先端の結果が得られます。
  論文  参考訳（メタデータ） (2022-07-21T06:17:23Z)
• BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird's-Eye View Representation [105.96557764248846]
  本稿では,汎用マルチタスクマルチセンサ融合フレームワークであるBEVFusionを紹介する。 共有鳥眼ビュー表示空間におけるマルチモーダル特徴を統一する。 3Dオブジェクト検出では1.3%高いmAPとNDS、BEVマップのセグメンテーションでは13.6%高いmIoU、コストは1.9倍である。
  論文  参考訳（メタデータ） (2022-05-26T17:59:35Z)
• DSGN++: Exploiting Visual-Spatial Relation forStereo-based 3D Detectors [60.88824519770208]
  カメラベースの3Dオブジェクト検出器は、LiDARセンサーよりも広い展開と低価格のため歓迎されている。 我々は3次元幾何学と意味論の両方を表現するステレオボリューム構造について、以前のステレオモデリングDSGNを再考する。 本稿では,2次元から3次元のパイプラインを通しての情報フローを改善することを目的としたDSGN++を提案する。
  論文  参考訳（メタデータ） (2022-04-06T18:43:54Z)
• DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
  ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。 我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
  論文  参考訳（メタデータ） (2022-03-15T18:46:06Z)
• Dense Voxel Fusion for 3D Object Detection [10.717415797194896]
  ボクセル融合 (Voxel Fusion, DVF) は, 多スケール密度ボクセル特徴表現を生成する逐次融合法である。 地上の真理2Dバウンディングボックスラベルを直接トレーニングし、ノイズの多い検出器固有の2D予測を避けます。 提案したマルチモーダルトレーニング戦略は, 誤った2次元予測を用いたトレーニングに比べ, より一般化できることを示す。
  論文  参考訳（メタデータ） (2022-03-02T04:51:31Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。