論文の概要: Diffusion Distillation With Direct Preference Optimization For Efficient 3D LiDAR Scene Completion

• arxiv url: http://arxiv.org/abs/2504.11447v2
• Date: Wed, 16 Apr 2025 02:02:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 11:15:10.332551
• Title: Diffusion Distillation With Direct Preference Optimization For Efficient 3D LiDAR Scene Completion
• Title（参考訳）: 効率的な3次元LiDARシーン補完のための直接選好最適化による拡散蒸留
• Authors: An Zhao, Shengyuan Zhang, Ling Yang, Zejian Li, Jiale Wu, Haoran Xu, AnYang Wei, Perry Pengyun GU, Lingyun Sun,
• Abstract要約: 本稿では,LiDARシーン完了のための拡散蒸留フレームワークであるDistillation-DPOを提案する。 本手法は, 蒸留における嗜好学習を最善に活用し, 選好整合蒸留に関する知見を提供するための最初の試みである。
• 参考スコア（独自算出の注目度）: 25.55163699029964
• License:
• Abstract: The application of diffusion models in 3D LiDAR scene completion is limited due to diffusion's slow sampling speed. Score distillation accelerates diffusion sampling but with performance degradation, while post-training with direct policy optimization (DPO) boosts performance using preference data. This paper proposes Distillation-DPO, a novel diffusion distillation framework for LiDAR scene completion with preference aligment. First, the student model generates paired completion scenes with different initial noises. Second, using LiDAR scene evaluation metrics as preference, we construct winning and losing sample pairs. Such construction is reasonable, since most LiDAR scene metrics are informative but non-differentiable to be optimized directly. Third, Distillation-DPO optimizes the student model by exploiting the difference in score functions between the teacher and student models on the paired completion scenes. Such procedure is repeated until convergence. Extensive experiments demonstrate that, compared to state-of-the-art LiDAR scene completion diffusion models, Distillation-DPO achieves higher-quality scene completion while accelerating the completion speed by more than 5-fold. Our method is the first to explore adopting preference learning in distillation to the best of our knowledge and provide insights into preference-aligned distillation. Our code is public available on https://github.com/happyw1nd/DistillationDPO.
• Abstract（参考訳）: 3次元LiDARシーン完了における拡散モデルの適用は、拡散の遅いサンプリング速度のために制限される。 スコア蒸留は拡散サンプリングを加速するが, 性能劣化を伴うが, 直接政策最適化(DPO)による後処理は, 選好データを用いた性能向上に寄与する。 本稿では,LiDARシーン完了のための拡散蒸留フレームワークであるDistillation-DPOを提案する。 第一に、学生モデルは初期ノイズの異なるペア化完了シーンを生成する。 第2に、LiDARシーン評価指標を選好として使用し、勝利と負けのサンプルペアを構築する。 なぜなら、ほとんどのLiDARシーンのメトリクスは情報的だが直接最適化することができないからである。 第3に、Distillation-DPOは、教師モデルと生徒モデルの違いを利用して、ペアの完成シーンにおけるスコア関数の差を利用して、生徒モデルを最適化する。 このような手順は収束するまで繰り返される。 拡張実験により, 現状のLiDARシーン完了拡散モデルと比較して, 蒸留DPOは5倍以上の速度で完了速度を加速しながら, 高品質なシーン完了を実現することが示された。 本手法は, 蒸留における嗜好学習を最善に活用し, 選好整合蒸留に関する知見を提供するための最初の試みである。 私たちのコードはhttps://github.com/happyw1nd/DistillationDPOで公開されています。

関連論文リスト

• Inference-Time Diffusion Model Distillation [59.350789627086456]
  本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。 条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。 逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
  論文  参考訳（メタデータ） (2024-12-12T02:07:17Z)
• Distilling Diffusion Models to Efficient 3D LiDAR Scene Completion [25.517559974601813]
  拡散モデルが3次元LiDARシーン完了に適用された。 本稿では,3次元LiDARシーン補完モデルに適した新しい蒸留法について提案する。
  論文  参考訳（メタデータ） (2024-12-04T17:57:25Z)
• Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator [81.81748032199813]
  拡散モデルは実世界の超解像(Real-ISR)に優れた性能を示した SRのための大規模textbfDiscriminator を用いた One-Step textbfDiffusion モデルを提案する。 我々の判別器は、潜伏空間における拡散モデルの任意の時間ステップからノイズのある特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
  任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。 PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。 PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T07:05:16Z)
• Target-Driven Distillation: Consistency Distillation with Target Timestep Selection and Decoupled Guidance [17.826285840875556]
  拡散モデルの生成タスクを加速するために、ターゲット駆動蒸留(TDD)を導入します。 TDDは、ターゲットのタイムステップの微妙な選択戦略を採用し、トレーニング効率を高めます。 非等価サンプリングとx0クリッピングを備えており、より柔軟で正確な画像サンプリングを可能にする。
  論文  参考訳（メタデータ） (2024-09-02T16:01:38Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• Scaling Diffusion Models to Real-World 3D LiDAR Scene Completion [25.69896680908217]
  3D LiDARセンサーは、通常、シーンからスパース3Dポイントの雲を収集するために使用される。 本稿では,1枚のLiDARスキャンからシーン完了を実現するために,画像の生成モデルとして拡散モデルを拡張することを提案する。 提案手法は,1つのLiDARスキャンを入力としてシーンを完了し,最先端のシーン補完手法と比較して,より詳細なシーンを生成する。
  論文  参考訳（メタデータ） (2024-03-20T10:19:05Z)
• Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation [24.236841051249243]
  蒸留法は、モデルをマルチショットからシングルステップ推論にシフトすることを目的としている。 ADDの限界を克服する新しい蒸留法であるLADD(Latent Adversarial Diffusion Distillation)を導入する。 ピクセルベースのADDとは対照的に、LADDは事前訓練された潜伏拡散モデルから生成的特徴を利用する。
  論文  参考訳（メタデータ） (2024-03-18T17:51:43Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion [137.8749239614528]
  そこで我々は,時間的行動検出(TAD)の新しい定式化を提案し,拡散を抑えるDiffTADを提案する。 入力されたランダムな時間的提案を考慮すれば、トリミングされていない長いビデオが与えられたアクションの提案を正確に得ることができる。
  論文  参考訳（メタデータ） (2023-03-27T00:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。