論文の概要: SegDem: Segmentation helps Demosaicing
- arxiv url: http://arxiv.org/abs/2608.07916v1
- Date: Sat, 08 Aug 2026 04:49:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.56116
- Title: SegDem: Segmentation helps Demosaicing
- Title(参考訳): SegDem: セグメンテーションはデモサイジングに役立つ
- Abstract要約: カラーフィルタ(CFA)を用いたセンサによる不完全色測定からフルカラー画像の再構成
既存のほとんどの方法は、ピクセルレベルの再構成として復号化を定式化している。
SegDemは、デモを行うためのクロスタスクデコーダ表現転送フレームワークである。
- 参考スコア(独自算出の注目度): 52.515779223891705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image demosaicing reconstructs a full-color image from incomplete color measurements produced by a sensor covered with a color filter array (CFA). Most existing methods formulate demosaicing as pixel-level reconstruction and mainly rely on local textures, cross-channel correlations, and low-level image statistics. Our core insight is that reconstruction and visual understanding can be viewed as complementary views of shared scene structure: both are grounded in the same underlying physical world, and therefore the structural and physical information inferred from an image should remain consistent across the two tasks. We instantiate this idea with instance segmentation and propose \emph{SegDem}, a cross-task decoder representation transfer framework for demosaicing. SegDem first learns region- and boundary-aware representations through instance-aware structural pretraining and then transfers the decoder to RAW-conditioned reconstruction. Segmentation- and demosaicing-conditioned features are further anchored to a shared frozen DINOv2 representation space to preserve structural organization across tasks. We instantiate SegDem with convolutional, Transformer-based, and state-space backbones for unified Single- and Quad-Bayer demosaicing. Extensive experiments on synthetic, external, and challenging datasets demonstrate consistent improvements across different architectures and CFA layouts.
- Abstract(参考訳): 画像復調は、カラーフィルタアレイ(CFA)で覆われたセンサによって生成された不完全な色測定からフルカラー画像を再構成する。
既存のほとんどの手法は、ピクセルレベルの再構成として復調を定式化し、主に局所的なテクスチャ、チャネル間の相関、低レベルの画像統計に依存する。
我々の中核的な洞察は、再構成と視覚的理解は共有シーン構造の相補的な視点として見ることができ、どちらも同じ物理世界にあるため、画像から推測される構造的・物理的情報は、この2つのタスクの間で一貫して維持されるべきである。
我々は、このアイデアをインスタンスセグメンテーションでインスタンス化し、デモを行うためのクロスタスクデコーダ表現転送フレームワークである \emph{SegDem} を提案する。
SegDemはまず、インスタンス対応の構造事前学習を通じて、リージョンとバウンダリを意識した表現を学び、続いてデコーダをRAW条件の再構成に転送する。
セグメンテーションおよび分解条件付き機能は、タスク間の構造的構造を維持するために、共有凍結されたDINOv2表現空間にさらに固定される。
我々は、SegDemを畳み込み、トランスフォーマーベース、状態空間のバックボーンでインスタンス化し、統一されたSegDemとQuad-Bayerのデモを行う。
合成、外部、挑戦的なデータセットに関する大規模な実験は、異なるアーキテクチャとCFAレイアウトで一貫した改善を示している。
関連論文リスト
- Bridging Modalities and Tasks: A Unified Hierarchical ViT for SAR-to-Optical Translation and Semantic Segmentation [6.274164868115626]
合成開口レーダ(SAR)画像は、全天候、昼夜の観測能力を有する。
SAR-to-optical (S2O)変換のための生成モデルは視覚的解釈性を改善することができるが、既存の手法は意味構造に関する制約を無視することが多い。
我々は,S2O画像の翻訳とセマンティックセグメンテーションを協調的に最適化する,BMT (Bridging Modalities and Tasks) と呼ばれる統合協調型デュアルタスク学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-04T04:50:19Z) - Structural Guidance for Unified Joint Demosaicing and Denoising [15.554336519344078]
カメラ画像信号処理の基本的なステップは、共同復調と復調である。
カラーサンプリングと画像内容の両面に異なるバイエル様カラーフィルタアレイ(CFA)とセンサノイズが混在していた。
本稿では,CFAを意識した画像復元に事前学習した構造知識を注入する構造誘導統合修復フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-07T10:14:20Z) - StructDiff: A Structure-Preserving and Spatially Controllable Diffusion Model for Single-Image Generation [72.84181869780627]
StructDiffは、単一画像生成のための単一スケール拡散モデルに基づく生成フレームワークである。
3次元位置符号化(PE)を空間的先行として組み込んでおり、生成されたオブジェクトの位置、スケール、局所的な詳細を柔軟に制御することができる。
また、テキスト誘導画像生成、画像編集、アウトペインティング、ペイント・ツー・イメージ合成など、下流タスクにも幅広い適用性を示す。
論文 参考訳(メタデータ) (2026-04-14T10:55:43Z) - Component-Aware Sketch-to-Image Generation Using Self-Attention Encoding and Coordinate-Preserving Fusion [2.510998372750843]
フリーハンドスケッチをフォトリアリスティックな画像に変換することは、画像合成の根本的な課題である。
GANベースのモデルや拡散ベースのモデルを含む既存のアプローチは、細かな細部を再構築したり、空間的アライメントを維持したり、異なるスケッチ領域に適応するのに苦労することが多い。
本稿では,新しい2段階アーキテクチャを用いて,これらの課題に対処するスケッチ・ツー・イメージ生成のための,コンポーネント対応の自己修正フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-10T10:39:24Z) - LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。
LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
論文 参考訳(メタデータ) (2023-08-13T08:06:18Z) - Occlusion-Aware Instance Segmentation via BiLayer Network Architectures [73.45922226843435]
本稿では,2層畳み込みネットワーク(BCNet)を提案する。このネットワークでは,トップ層がオブジェクト(オブオーバ)を検出し,ボトム層が部分的にオブオーバドされたインスタンス(オブオーバド)を推測する。
一般的な畳み込みネットワーク設計,すなわちFCN(Fully Convolutional Network)とGCN(Graph Convolutional Network)を用いた2層構造の有効性について検討する。
論文 参考訳(メタデータ) (2022-08-08T21:39:26Z) - Cross-View Panorama Image Synthesis [68.35351563852335]
PanoGANは、新しい敵対的フィードバックGANフレームワークである。
PanoGANは、最先端のアプローチよりもより説得力のある、高品質なパノラマ画像生成を可能にする。
論文 参考訳(メタデータ) (2022-03-22T15:59:44Z) - Self-supervised Correlation Mining Network for Person Image Generation [9.505343361614928]
人物画像生成は、ソース画像の非剛性変形を実現することを目的としている。
特徴空間のソース画像を再構成する自己教師付き相関マイニングネットワーク(SCM-Net)を提案する。
クロススケールポーズ変換の忠実度を向上させるために,グラフに基づく身体構造保持損失を提案する。
論文 参考訳(メタデータ) (2021-11-26T03:57:46Z) - Image Inpainting via Conditional Texture and Structure Dual Generation [26.97159780261334]
本稿では, 構造制約によるテクスチャ合成とテクスチャ誘導による構造再構築をモデル化した, 画像インペイントのための新しい2ストリームネットワークを提案する。
グローバルな一貫性を高めるため、双方向Gated Feature Fusion (Bi-GFF)モジュールは構造情報とテクスチャ情報を交換・結合するように設計されている。
CelebA、Paris StreetView、Places2データセットの実験は、提案手法の優位性を実証している。
論文 参考訳(メタデータ) (2021-08-22T15:44:37Z) - Retinal Image Segmentation with a Structure-Texture Demixing Network [62.69128827622726]
複雑な構造とテクスチャ情報は網膜画像に混在し、その情報の識別が困難である。
既存の手法はテクスチャと構造を共同で扱うため、偏りのあるモデルをテクスチャ認識に導くことができ、結果としてセグメンテーション性能は低下する。
本稿では,構造成分とテクスチャ成分を分離し,性能を大幅に向上させるセグメンテーション戦略を提案する。
論文 参考訳(メタデータ) (2020-07-15T12:19:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。