論文の概要: Lightweight Unpaired Smartphone ISP Transfer with Semantic Pseudo-Pairing
- arxiv url: http://arxiv.org/abs/2605.07495v1
- Date: Fri, 08 May 2026 09:32:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.962313
- Title: Lightweight Unpaired Smartphone ISP Transfer with Semantic Pseudo-Pairing
- Title(参考訳): セマンティック擬似ペアリングによる軽量未ペアスマートフォンISP転送
- Authors: Yujin Cho, Flavien Armangeon, Yanhao Li,
- Abstract要約: 未ペアスマートフォンISPは、RAWとターゲットRGB画像の間のシーンとカラーアライメントが欠如しているため、難しい問題である。
NTIRE 2026 Learned smartphone ISP Challenge with Unpaired Dataのために開発されたシンプルで効果的なアプローチを提案する。
- 参考スコア(独自算出の注目度): 2.68449487916727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unpaired smartphone ISP is a challenging problem due to the lack of scene and color alignment between RAW and target RGB images. Many existing methods either require paired data or rely heavily on adversarial training, which can become unstable in the unpaired setting. In this work, we present a simple and effective approach developed for the NTIRE 2026 Learned Smartphone ISP Challenge with Unpaired Data. Our method first reconstructs larger images from training patches to recover global context. Then, we extract semantic embeddings with DINOv2, and use fused Gromov-Wasserstein (FGW) optimal transport to build pseudo pairs between RAW and RGB images at both image and patch levels. This semantic matching allows us to partially alleviate the unpairedness of the data and build these pseudo input-target pairs. Based on these pseudo pairs, we train a lightweight CNN with only 7K parameters for color rendering. The network is designed to be compact and focus on color transformation rather than structural change, which helps reduce artifacts and improve training stability. Our challenge submission achieves 22.569 PSNR, 0.675 SSIM, and 8.067 $ΔE$ on the final hidden test set, significantly improving over the baseline and achieving the 3rd best SSIM and $ΔE$ among all challenge entries. Our code is available at github.com/nuniniyujin/Unpaired-ISP .
- Abstract(参考訳): 未ペアスマートフォンISPは、RAWとターゲットRGB画像の間のシーンとカラーアライメントが欠如しているため、難しい問題である。
既存の多くの手法では、ペア化されたデータを必要とするか、敵の訓練に強く依存している。
本研究では,NTIRE 2026 Learned smartphone ISP Challenge with Unpaired Dataに対して,シンプルで効果的なアプローチを提案する。
提案手法はまず,グローバルなコンテキストを回復するために,トレーニングパッチからより大きなイメージを再構成する。
次に,DINOv2によるセマンティック埋め込みを抽出し,FGW(Frowd Gromov-Wasserstein)の最適トランスポートを用いて,RAWとRGBの擬似ペアを画像レベルとパッチレベルで構築する。
このセマンティックマッチングにより、データの不正性を部分的に軽減し、擬似的な入力ターゲットペアを構築することができます。
これらの擬似ペアに基づいて、カラーレンダリングのための7Kパラメータしか持たない軽量CNNを訓練する。
ネットワークはコンパクトで、構造変化ではなく色変換に重点を置いて設計されており、アーティファクトの削減とトレーニングの安定性の向上に役立つ。
提案課題は, 最終隠れテストセットにおいて22.569 PSNR, 0.675 SSIM, 8.067 $ΔE$を達成し, ベースラインを大幅に改善し, 挑戦項目の中で3番目に優れたSSIMと$ΔE$を達成した。
私たちのコードはgithub.com/nuniniyujin/Unpaired-ISPで利用可能です。
関連論文リスト
- Learned Lightweight Smartphone ISP with Unpaired Data [55.2480439325792]
学習可能な画像信号処理装置(ISP)のための新しいトレーニング手法を提案する。
我々の未経験アプローチは、敵の訓練によって導かれる多段階の損失関数を用いる。
ペア学習法と比較すると,我々の未経験学習戦略は強い可能性を示し,高い忠実性を実現する。
論文 参考訳(メタデータ) (2025-05-15T15:37:51Z) - You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement [50.37253008333166]
低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。
水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。
輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
論文 参考訳(メタデータ) (2024-02-08T16:47:43Z) - Learning to See Low-Light Images via Feature Domain Adaptation [17.033219611079165]
そこで我々は,特徴領域適応(FDA)によって強化された単一段階ネットワークを提案し,生のLLIEにおけるデノイングとカラーマッピングのタスクを分離する。
FDAは、ラインバッファを減らすことで、グローバルとローカルの相関関係を探索することができる。
本手法は,計算コストを削減して最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-12-11T03:38:26Z) - Transform your Smartphone into a DSLR Camera: Learning the ISP in the
Wild [159.71025525493354]
本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。
トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
論文 参考訳(メタデータ) (2022-03-20T20:13:59Z) - See through Gradients: Image Batch Recovery via GradInversion [103.26922860665039]
我々は、より大きなバッチからの入力イメージをResNets(50層)のような大規模ネットワークでも復元できるGradInversionを紹介した。
複雑なデータセット、ディープネットワーク、大規模なバッチサイズであっても、GradInversionを通じて、個々のイメージを高い忠実度で復元できるような、驚くほど大量の情報をエンコードする勾配を示す。
論文 参考訳(メタデータ) (2021-04-15T16:43:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。