論文の概要: 2D Gaussian Splatting with Semantic Alignment for Image Inpainting

• arxiv url: http://arxiv.org/abs/2509.01964v1
• Date: Tue, 02 Sep 2025 05:12:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.915092
• Title: 2D Gaussian Splatting with Semantic Alignment for Image Inpainting
• Title（参考訳）: セマンティックアライメントを用いた2次元ガウス切削
• Authors: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu,
• Abstract要約: 2次元ガウススプラッティングに基づく最初の画像インペイントフレームワークを提案する。 グローバルなセマンティック一貫性のために、事前訓練されたDINOモデルの特徴を取り入れる。 本手法は,定量的指標と知覚的品質の両面での競合性能を実現する。
• 参考スコア（独自算出の注目度）: 46.266955851252504
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.
• Abstract（参考訳）: 離散点を連続空間表現に変換する手法であるGaussian Splatting (GS)は、3次元シーンモデリングと2次元画像超解像において有望な結果を示した。 本稿では,局所的にコヒーレントな画素合成と一貫したセマンティック復元を要求される画像インパインティングの可能性を探る。 本研究では, 2次元ガウススプレート係数の連続場に不完全像を符号化し, ラスタ化プロセスを用いて最終像を再構成する, 2次元ガウススプティングに基づく最初の画像インペイントフレームワークを提案する。 GSの連続レンダリングパラダイムは、本質的に、インペイントされた結果におけるピクセルレベルのコヒーレンスを促進する。 効率性とスケーラビリティを向上させるため,メモリオーバーヘッドを低減し,推論を高速化するパッチワイドラスタライズ方式を導入する。 グローバルなセマンティック一貫性のために、事前訓練されたDINOモデルの特徴を取り入れる。 我々は,DINOのグローバルな特徴が自然に小さい領域に対して堅牢であり,大きなマスクシナリオにおける意味的アライメントのガイドに効果的に適応できることを観察し,その内容が周囲のシーンとコンテキスト的に一致していることを確認する。 提案手法は,2次元画像処理にガウススプラッティングを適用するための新たな方向性を確立し,定量的指標と知覚的品質の両面での競合性能を実証する。

関連論文リスト

• PanopticSplatting: End-to-End Panoptic Gaussian Splatting [20.04251473153725]
  そこで我々は,オープン・ボキャブラリ・パノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノ 本手法では,クエリ誘導型ガウス分割と局所的クロスアテンションを導入し,クロスフレームアソシエーションなしで2次元のインスタンスマスクを持ち上げる。 本手法は,ScanNet-V2とScanNet++データセット上での3Dシーンパノビュータ再構成において,高い性能を示す。
  論文  参考訳（メタデータ） (2025-03-23T13:45:39Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
  軽量なXFeat特徴抽出器から高密度かつ堅牢なキーポイント記述器を3DGSに統合する2段階の手順を提案する。 第2段階では、レンダリングベースの光度ワープ損失を最小限に抑え、初期ポーズ推定を洗練させる。 広く使われている屋内および屋外データセットのベンチマークは、最近のニューラルレンダリングベースのローカライゼーション手法よりも改善されていることを示している。
  論文  参考訳（メタデータ） (2024-09-24T23:18:32Z)
• Image-GS: Content-Adaptive Image Representation via 2D Gaussians [52.598772767324036]
  本稿では,2次元ガウス放射率に基づくコンテンツ適応型画像表現であるImage-GSを紹介する。 リアルタイム使用のためにハードウェアフレンドリーな高速アクセスをサポートし、ピクセルをデコードするためには0.3KのMACしか必要としない。 テクスチャ圧縮、セマンティクス対応圧縮、共同画像圧縮と復元など、いくつかのアプリケーションでその汎用性を実証する。
  論文  参考訳（メタデータ） (2024-07-02T00:45:21Z)
• StopThePop: Sorted Gaussian Splatting for View-Consistent Real-time Rendering [42.91830228828405]
  本稿では,処理オーバーヘッドを最小限に抑えた新しい階層化手法を提案する。 提案手法はガウス版よりも平均で4%遅い。 レンダリング性能はほぼ2倍に向上し,従来のガウス版よりも1.6倍高速になった。
  論文  参考訳（メタデータ） (2024-02-01T11:46:44Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。