論文の概要: SeeRF: Learning to See Beyond Fields of View via Generative Image Registration and Fusion

• arxiv url: http://arxiv.org/abs/2610.35637v1
• Date: Mon, 26 Oct 2026 15:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.060253
• Title: SeeRF: Learning to See Beyond Fields of View via Generative Image Registration and Fusion
• Title（参考訳）: SeeRF: 生成的画像登録と融合による視野を超えて見ることを学ぶ
• Abstract要約: 本研究では,SeeRFと呼ばれる登録融合フレームワークを提案する。 提案するフレームワークは、共有された視野によって課される制限を克服する。 非重なり合う視野領域の有効補完と自然融合を可能にする。
• 参考スコア（独自算出の注目度）: 35.98382713738192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the inherent discrepancies in imaging viewpoints and field-of-view mismatches among multi-modal sensors, existing fusion methods have long struggled to achieve complete scene-level information integration beyond the limitation in sensor fields of view. Consequently, the generated fusion results often contain modality-specific regions and fusion artifacts, limiting the comprehensive representation of scene structures and semantic information. To address this challenge, we propose a generative registration-fusion framework, termed SeeRF. Specifically, it first introduces a deformation generation strategy based on the diffeomorphic stationary velocity field, combined with visual foundation model-guided feature extraction and a coarse-to-fine progressive multi-modal image registration module, to achieve accurate cross-modal flow estimation and generate valid field-of-view masks. Subsequently, the registration module is tightly coupled with the generative diffusion module for multi-modal completion and fusion, where the cross-modal control encoding module and the control residual feature encoder-decoder mechanism provide effective guidance. By leveraging the powerful prior modeling capability of generative diffusion models, the proposed framework overcomes the limitations imposed by shared fields of view and enables effective completion and natural fusion of non-overlapping field-of-view regions. Extensive experiments on multiple public datasets and real-world scenarios demonstrate that the proposed method achieves superior performance, validating its effectiveness, superiority, and robustness. The code will be available at https://github.com/XunpengYi/SeeRF.
• Abstract（参考訳）: マルチモーダルセンサ間の画像視点と視野のミスマッチの相違により、既存の融合法は、センサフィールドの制限を超えて、シーンレベルの完全な情報統合を実現するのに長年苦労してきた。 その結果、生成した融合結果は、しばしばモダリティ固有の領域や融合アーティファクトを含み、シーン構造や意味情報の包括的表現を制限する。 この課題に対処するために、SeeRFと呼ばれる生成的登録融合フレームワークを提案する。 具体的には、まず、微分同相定常速度場に基づく変形生成戦略を導入し、視覚基礎モデル誘導特徴抽出と粗大から細粒のプログレッシブ・マルチモーダル画像登録モジュールを組み合わせることにより、正確なクロスモーダルフロー推定と有効なフィールド・オブ・ビューマスクを生成する。 その後、多モード完了・融合のための生成拡散モジュールと登録モジュールを密結合し、クロスモーダル制御符号化モジュールと制御残留特徴エンコーダ・デコーダ機構が効果的なガイダンスを提供する。 生成拡散モデルの強力な事前モデリング機能を活用することで、共有視野の制約を克服し、重複しない視野領域の効果的な完成と自然融合を可能にする。 複数の公開データセットと実世界のシナリオに対する大規模な実験により、提案手法は優れた性能を示し、その有効性、優越性、堅牢性を検証する。 コードはhttps://github.com/XunpengYi/SeeRF.comで入手できる。

関連論文リスト

• OmniRSI: Taming Latent Diffusion for Unified Multimodal Remote Sensing Image Generation [57.95351922560686]
  我々は,マルチモーダルリモートセンシング画像生成モデルOmniRSIを提案する。 具体的には,マルチモーダル先行情報をキャプチャするリモートセンシング特異的変分オートエンコーダを開発する。 また,複数モーダル情報を生成することで,不完全な視覚条件を反復的に強化する学習自由巡回潜時アライメント機構を考案した。
  論文  参考訳（メタデータ） (2026-10-11T07:32:15Z)
• Deep Multimodal Fusion Detection through Spatial Mask and Channel Fusion [4.909774323398836]
  本稿では,モダリティオブジェクト検出の堅牢性向上を目的とした,注意駆動補足型リサンプリングフレームワークを提案する。 共有チャネル空間的注意機構に基づいて,まずセマンティックマスク交換を導入し,モダリティの境界を積極的に混合する。 そこで我々は,チャネルワイドで学習可能な方法で特徴をサンプリングし,集約するための学習可能なチャネルコンペティションを提案する。
  論文  参考訳（メタデータ） (2026-08-03T11:51:12Z)
• DIFF-MF: A Difference-Driven Channel-Spatial State Space Model for Multi-Modal Image Fusion [51.07069814578009]
  マルチモーダル画像融合は、複数のソース画像から補完的な情報を統合して、リッチなコンテンツで高品質な融合画像を生成することを目的としている。 マルチモーダル画像融合のための差動駆動型チャネル空間空間モデルDIFF-MFを提案する。 本手法は,視覚的品質と定量的評価の両方において,既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2026-01-09T05:26:54Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• Query-Kontext: An Unified Multimodal Model for Image Generation and Editing [53.765351127477224]
  統一マルチモーダルモデル(UMM)はテキスト・ツー・イメージ生成(T2I)と編集(TI2I)において顕著な性能を示した。 本稿では,マルチモーダル入力から符号化されたセマンティックキューと粗粒度画像条件からなるマルチモーダルコンテクス」を用いて,VLMと拡散モデルをブリッジする新しいアプローチであるQuery-Kontextを紹介する。 実験により,本手法は強い統一ベースラインと一致し,いくつかのケースにおいてタスク固有の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-30T17:59:46Z)
• Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces [10.85468238780625]
  任意の状態空間上に多モード拡散モデルを構築するための新しいフレームワークを提案する。 各モードに対して革新的な分離ノイズスケジュールを導入することにより、単一モデル内で非条件とモード条件の両方を同時に生成することが可能となる。
  論文  参考訳（メタデータ） (2025-06-09T16:20:20Z)
• Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation [54.588082888166504]
  我々は、因果アプローチを通じてインターリーブされたマルチモーダル生成を可能にする統一的なフレームワークであるMogaoを提案する。 Mogooは、Deep-fusion設計、デュアルビジョンエンコーダ、インターリーブされた回転位置埋め込み、マルチモーダル分類器フリーガイダンスなど、アーキテクチャ設計における重要な技術的改善のセットを統合している。 実験により,モガオはマルチモーダル理解とテキスト・ツー・イメージ生成において最先端の性能を発揮するとともに,高品質でコヒーレントなインターリーブ・アウトプットの創出にも優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-08T17:58:57Z)
• Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
  Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。 既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。 これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。 一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2024-04-11T03:00:00Z)
• Cross Attention-guided Dense Network for Images Fusion [6.722525091148737]
  本稿では,新しいクロスアテンション誘導画像融合ネットワークを提案する。 マルチモーダル画像融合、マルチ露光画像融合、マルチフォーカス画像融合のための統一的で教師なしのフレームワークである。 以上の結果から,提案モデルが定量的かつ質的に,最先端のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2021-09-23T14:22:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。