論文の概要: Uni-ISP: Unifying the Learning of ISPs from Multiple Cameras

• arxiv url: http://arxiv.org/abs/2406.01003v1
• Date: Mon, 3 Jun 2024 05:25:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 02:27:34.787549
• Title: Uni-ISP: Unifying the Learning of ISPs from Multiple Cameras
• Title（参考訳）: Uni-ISP: 複数のカメラからISPを学ぶこと
• Authors: Lingen Li, Mingde Yao, Xingyu Meng, Muquan Yu, Tianfan Xue, Jinwei Gu,
• Abstract要約: 複数のカメラからISPを学習するための新しいパイプラインUni-ISPを提案する。 Uni-ISPは、複数のカメラモデルに正確で汎用的なプロセッサを提供する。
• 参考スコア（独自算出の注目度）: 15.92736419367994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern end-to-end image signal processors (ISPs) can learn complex mappings from RAW/XYZ data to sRGB (or inverse), opening new possibilities in image processing. However, as the diversity of camera models continues to expand, developing and maintaining individual ISPs is not sustainable in the long term, which inherently lacks versatility, hindering the adaptability to multiple camera models. In this paper, we propose a novel pipeline, Uni-ISP, which unifies the learning of ISPs from multiple cameras, offering an accurate and versatile processor to multiple camera models. The core of Uni-ISP is leveraging device-aware embeddings through learning inverse/forward ISPs and its special training scheme. By doing so, Uni-ISP not only improves the performance of inverse/forward ISPs but also unlocks a variety of new applications inaccessible to existing learned ISPs. Moreover, since there is no dataset synchronously captured by multiple cameras for training, we construct a real-world 4K dataset, FiveCam, comprising more than 2,400 pairs of sRGB-RAW images synchronously captured by five smartphones. We conducted extensive experiments demonstrating Uni-ISP's accuracy in inverse/forward ISPs (with improvements of +1.5dB/2.4dB PSNR), its versatility in enabling new applications, and its adaptability to new camera models.
• Abstract（参考訳）: 現代のエンドツーエンドの画像信号プロセッサ(ISP)はRAW/XYZデータからsRGB(あるいは逆)への複雑なマッピングを学習し、画像処理の新たな可能性を開く。 しかし、カメラモデルの多様性が拡大し続けているため、個々のISPの開発とメンテナンスは長期的には持続可能ではなく、本質的には汎用性に欠けており、複数のカメラモデルへの適応性を妨げている。 本稿では,複数のカメラからISPを学習するための新しいパイプラインUni-ISPを提案する。 Uni-ISPの中核は、逆/フォワードISPとその特別なトレーニングスキームを学習することで、デバイス対応の埋め込みを活用することである。 これにより、Uni-ISPは、逆/フォワードISPのパフォーマンスを向上するだけでなく、既存の学習ISPにはアクセスできない様々な新しいアプリケーションをアンロックする。 さらに,複数のカメラで同期して撮影するデータセットは存在しないため,実世界の4KデータセットであるFiveCamを構築し,SRGB-RAW画像の2400組以上を5台のスマートフォンで同期的に撮影する。 Inverse/forward ISPsにおけるUni-ISPの精度(+1.5dB/2.4dB PSNRの改善)、新しいアプリケーションの実現における汎用性、新しいカメラモデルへの適応性など、幅広い実験を行った。

関連論文リスト

• Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
  ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。 我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。 本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-04-17T17:11:47Z)
• Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
  本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。 提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T16:17:48Z)
• ParamISP: Learned Forward and Inverse ISPs using Camera Parameters [27.244062839494]
  ParamISP は sRGB と RAW 画像の前後変換のための学習方式である。 データセット合成のデブロアリング、生のデブロアリング、HDR再構成、カメラからカメラへの転送など、さまざまな用途に効果的に使用できる。
  論文  参考訳（メタデータ） (2023-12-20T09:16:47Z)
• Event-guided Multi-patch Network with Self-supervision for Non-uniform Motion Deblurring [113.96237446327795]
  本稿では,ぼやけた画像やビデオを扱うための,イベント誘導型深層階層型マルチパッチネットワークを提案する。 また、ビデオ内の複雑なぼやけに対処するために、動画に含まれる動きの手がかりを利用するイベント誘導アーキテクチャを提案する。 我々のMPNは、現在のマルチスケール手法に比べて40倍高速なランタイムでGoProとVideoDeblurringデータセットの最先端を達成しています。
  論文  参考訳（メタデータ） (2023-02-14T15:58:00Z)
• Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild [159.71025525493354]
  本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。 トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
  論文  参考訳（メタデータ） (2022-03-20T20:13:59Z)
• ReconfigISP: Reconfigurable Camera Image Processing Pipeline [75.46902933531247]
  Image Signal Processor(ISP)は、センサー信号を画像に変換するデジタルカメラにおいて、知覚と理解のために重要なコンポーネントである。 既存のISP設計では、固定されたアーキテクチャ(例えば、厳密な順序で接続されたいくつかのシーケンシャルなモジュール)が常に採用されている。 本研究では,Reconfigurable ISP(Reconfigurable ISP)を提案する。
  論文  参考訳（メタデータ） (2021-09-10T09:56:43Z)
• Replacing Mobile Camera ISP with a Single Deep Learning Model [171.49776472948957]
  PyNETは、きめ細かい画像復元のために設計された新しいピラミッド型CNNアーキテクチャである。 このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されている。
  論文  参考訳（メタデータ） (2020-02-13T14:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。