論文の概要: MutualNeRF: Improve the Performance of NeRF under Limited Samples with Mutual Information Theory
- arxiv url: http://arxiv.org/abs/2505.11386v1
- Date: Fri, 16 May 2025 15:50:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-19 14:36:15.4828
- Title: MutualNeRF: Improve the Performance of NeRF under Limited Samples with Mutual Information Theory
- Title（参考訳）: MutualNeRF: 相互情報理論を用いた限定サンプルによるNeRFの性能向上
- Authors: Zifan Wang, Jingwei Li, Yitang Li, Yunze Liu,
- Abstract要約: 本稿では,限定サンプル下でのニューラルレーシアンスフィールド(NeRF)性能向上フレームワークであるMutualNeRFを紹介する。
我々は、画像間の相関を均一に測定する指標として、単純だが理論的に堅牢な概念であるMutual Informationを導入する。
限られたサンプル下での実験では、異なる設定で最先端のベースラインよりも一貫した改善が見られた。
- 参考スコア（独自算出の注目度）: 12.118033390073327
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces MutualNeRF, a framework enhancing Neural Radiance Field (NeRF) performance under limited samples using Mutual Information Theory. While NeRF excels in 3D scene synthesis, challenges arise with limited data and existing methods that aim to introduce prior knowledge lack theoretical support in a unified framework. We introduce a simple but theoretically robust concept, Mutual Information, as a metric to uniformly measure the correlation between images, considering both macro (semantic) and micro (pixel) levels. For sparse view sampling, we strategically select additional viewpoints containing more non-overlapping scene information by minimizing mutual information without knowing ground truth images beforehand. Our framework employs a greedy algorithm, offering a near-optimal solution. For few-shot view synthesis, we maximize the mutual information between inferred images and ground truth, expecting inferred images to gain more relevant information from known images. This is achieved by incorporating efficient, plug-and-play regularization terms. Experiments under limited samples show consistent improvement over state-of-the-art baselines in different settings, affirming the efficacy of our framework.
- Abstract（参考訳）: 本稿では,Mutual Information Theory を用いた限定サンプル下でのニューラルレイディアンスフィールド(NeRF)性能向上フレームワークである MutualNeRF を紹介する。
NeRFは3次元シーン合成に優れていますが、先行知識の導入を目的とした既存の手法では、統一されたフレームワークにおける理論的サポートが欠如しています。
マクロ(セマンティック)とマイクロ(ピクセル)の両方のレベルを考慮して、画像間の相関を均一に測定する指標として、単純だが理論的に堅牢な概念であるMutual Informationを導入する。
スパース・ビュー・サンプリングでは,地上の真実のイメージを事前に知ることなく,相互情報の最小化により,より重複しないシーン情報を含む追加視点を戦略的に選択する。
我々のフレームワークは欲張りのアルゴリズムを採用し、ほぼ最適解を提供する。
数ショットのビュー合成では、推定画像と地上の真実との相互情報を最大化し、推定画像が既知の画像からより関連性の高い情報を得ることを期待している。
これは、効率的なプラグ・アンド・プレイの正規化項を組み込むことによって達成される。
限られたサンプル下での実験では、異なる設定で最先端のベースラインに対して一貫した改善が見られ、フレームワークの有効性が確認された。
関連論文リスト
- SUMI-IFL: An Information-Theoretic Framework for Image Forgery Localization with Sufficiency and Minimality Constraints [66.85363924364628]
イメージフォージェリーローカライゼーション (IFL) は, 改ざん画像誤用を防止し, 社会安全を守るための重要な技術である。
本稿では,情報理論IFL フレームワーク SUMI-IFL について紹介する。
論文 参考訳（メタデータ） (2024-12-13T09:08:02Z) - FairDiff: Fair Segmentation with Point-Image Diffusion [15.490776421216689]
本研究は,合成画像を統合することで,データ駆動型戦略強化データバランスを採用する。
3つのネットワークを経験的リスクと公平性の目標に向けて最適化する,共同最適化方式で問題を定式化する。
本モデルは,最先端のフェアネス学習モデルと比較して,優れたフェアネスセグメンテーション性能を実現する。
論文 参考訳（メタデータ） (2024-07-08T17:59:58Z) - CombiNeRF: A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis [1.374796982212312]
ニューラル・ラジアンス・フィールド(NeRF)は、十分に多くのビューが利用可能である場合に、新しいビュー合成のための印象的な結果を示す。
本稿では,複数の正規化手法を相乗的に組み合わせたCombiNeRFを提案する。
CombiNeRFは、いくつかの公開データセットにおいて、数ショット設定で最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-21T13:59:00Z) - HyperPlanes: Hypernetwork Approach to Rapid NeRF Adaptation [4.53411151619456]
本稿では,推論中に勾配最適化を必要としないハイパーネットワークのパラダイムに基づく数ショットの学習手法を提案する。
我々は,少数の画像から高品質な3Dオブジェクト表現を単一ステップで生成する効率的な方法を開発した。
論文 参考訳（メタデータ） (2024-02-02T16:10:29Z) - Layered Rendering Diffusion Model for Controllable Zero-Shot Image Synthesis [15.76266032768078]
本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。
まず、摂動分布の基本的な空間的キューとして視覚誘導を導入する。
本稿では,複数のレイヤからなる画像レンダリングプロセスを構築する汎用フレームワークであるLayered Rendering Diffusion (LRDiff)を提案する。
論文 参考訳（メタデータ） (2023-11-30T10:36:19Z) - Cap2Aug: Caption guided Image to Image data Augmentation [41.53127698828463]
Cap2Augは、画像キャプションをテキストプロンプトとして使用する画像から画像への拡散モデルに基づくデータ拡張戦略である。
限られた訓練画像からキャプションを生成し,これらのキャプションを用いて画像間安定拡散モデルを用いてトレーニング画像を編集する。
この戦略は、トレーニング画像に似た画像の拡張バージョンを生成するが、サンプル全体にわたって意味的な多様性を提供する。
論文 参考訳（メタデータ） (2022-12-11T04:37:43Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳（メタデータ） (2021-12-31T11:56:01Z) - Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。
ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。
我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
論文 参考訳（メタデータ） (2021-04-09T02:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。