論文の概要: FreeFix: Boosting 3D Gaussian Splatting via Fine-Tuning-Free Diffusion Models
- arxiv url: http://arxiv.org/abs/2601.20857v1
- Date: Wed, 28 Jan 2026 18:56:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-29 15:46:07.10799
- Title: FreeFix: Boosting 3D Gaussian Splatting via Fine-Tuning-Free Diffusion Models
- Title(参考訳): FreeFix:ファインチューニングフリー拡散モデルによる3次元ガウス平滑化
- Authors: Hongyu Zhou, Zisen Shao, Sheng Miao, Pan Wang, Dongfeng Bai, Bingbing Liu, Yiyi Liao,
- Abstract要約: FreeFixは微調整のないアプローチで、事前訓練された画像拡散モデルで外挿レンダリングを強化する。
本稿では,映像拡散モデルに頼らずに画像拡散モデルを一貫した洗練のために活用できることを,インターリーブされた2D-3Dリファインメント戦略として提示する。
- 参考スコア(独自算出の注目度): 40.93779525957262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields and 3D Gaussian Splatting have advanced novel view synthesis, yet still rely on dense inputs and often degrade at extrapolated views. Recent approaches leverage generative models, such as diffusion models, to provide additional supervision, but face a trade-off between generalization and fidelity: fine-tuning diffusion models for artifact removal improves fidelity but risks overfitting, while fine-tuning-free methods preserve generalization but often yield lower fidelity. We introduce FreeFix, a fine-tuning-free approach that pushes the boundary of this trade-off by enhancing extrapolated rendering with pretrained image diffusion models. We present an interleaved 2D-3D refinement strategy, showing that image diffusion models can be leveraged for consistent refinement without relying on costly video diffusion models. Furthermore, we take a closer look at the guidance signal for 2D refinement and propose a per-pixel confidence mask to identify uncertain regions for targeted improvement. Experiments across multiple datasets show that FreeFix improves multi-frame consistency and achieves performance comparable to or surpassing fine-tuning-based methods, while retaining strong generalization ability.
- Abstract(参考訳): ニューラル・ラディアンス・フィールドと3Dガウス・スプラッティングは、先進的なビュー合成を持つが、それでも高密度の入力に依存しており、外挿されたビューでは劣化することが多い。
近年のアプローチでは、拡散モデルのような生成モデルを活用して、さらなる監督を提供するが、一般化と忠実性のトレードオフに直面している。
予め訓練された画像拡散モデルを用いて外挿レンダリングを強化することで、このトレードオフの境界を推し進める、微調整不要なアプローチであるFreeFixを導入する。
本稿では,映像拡散モデルに頼らずに画像拡散モデルを一貫した洗練のために活用できることを,インターリーブされた2D-3Dリファインメント戦略として提示する。
さらに,2次元リファインメントのための誘導信号についてより詳しく検討し,目標とする改善のための不確実領域を特定するために,画素ごとの信頼マスクを提案する。
複数のデータセットにわたる実験によると、FreeFixはマルチフレームの一貫性を改善し、高度な一般化能力を維持しながら、微調整ベースのメソッドに匹敵するパフォーマンスを達成する。
関連論文リスト
- FideDiff: Efficient Diffusion Model for High-Fidelity Image Motion Deblurring [33.809728459395785]
FideDiffは、高忠実度デブロアリング用に設計された新しい単一ステップ拡散モデルである。
我々は、各タイムステップが徐々にぼやけた画像を表す拡散のようなプロセスとして、動きのデブロアリングを再構成する。
一致したぼやけた軌跡でトレーニングデータを再構成することにより、モデルは時間的一貫性を学習し、正確なワンステップのデブロワーを可能にする。
論文 参考訳(メタデータ) (2025-10-02T03:44:45Z) - Acc3D: Accelerating Single Image to 3D Diffusion Models via Edge Consistency Guided Score Distillation [49.202383675543466]
本稿では,単一画像から3次元モデルを生成する拡散過程の高速化に取り組むために,Acc3Dを提案する。
数段階の推論によって高品質な再構成を導出するため,ランダムノイズ状態におけるスコア関数の学習を規則化する上で重要な課題を強調した。
論文 参考訳(メタデータ) (2025-03-20T09:18:10Z) - One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。
拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。
提案手法は,実測値と非参照値の両方で高い性能を達成する。
論文 参考訳(メタデータ) (2025-03-09T09:39:57Z) - Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳(メタデータ) (2024-02-15T18:59:18Z) - Text-Image Conditioned Diffusion for Consistent Text-to-3D Generation [28.079441901818296]
我々は,粒度の細かい視野の整合性を明示したNeRF(Neural Radiance Fields)のテキスト・ツー・3D手法を提案する。
本手法は,既存のテキスト・ツー・3D法に対して最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-12-19T01:09:49Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z) - Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。
具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。
本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
論文 参考訳(メタデータ) (2023-05-24T14:00:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。