論文の概要: Beyond Calibration: Physically Informed Learning for Raw-to-Raw Mapping
- arxiv url: http://arxiv.org/abs/2506.08650v2
- Date: Wed, 11 Jun 2025 03:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-12 16:13:48.072468
- Title: Beyond Calibration: Physically Informed Learning for Raw-to-Raw Mapping
- Title(参考訳): 校正を超えて: 生間マッピングのための物理的インフォームドラーニング
- Authors: Peter Grönquist, Stepan Tulyakov, Dengxin Dai,
- Abstract要約: 既存のraw-to-raw変換手法では、照明変更への適応性の低下、高い計算コスト、同時カメラ操作やオーバーラップ・オブ・ビューといった非現実的な要件といった制限に直面している。
我々は,デバイス間の変換を推定するために,特定の照明下での生画像のシミュレートを行う軽量で物理的にインフォームドされたアプローチであるニューラル・フィジカル・モデル(NPM)を導入する。
- 参考スコア(独自算出の注目度): 45.35073576457164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Achieving consistent color reproduction across multiple cameras is essential for seamless image fusion and Image Processing Pipeline (ISP) compatibility in modern devices, but it is a challenging task due to variations in sensors and optics. Existing raw-to-raw conversion methods face limitations such as poor adaptability to changing illumination, high computational costs, or impractical requirements such as simultaneous camera operation and overlapping fields-of-view. We introduce the Neural Physical Model (NPM), a lightweight, physically-informed approach that simulates raw images under specified illumination to estimate transformations between devices. The NPM effectively adapts to varying illumination conditions, can be initialized with physical measurements, and supports training with or without paired data. Experiments on public datasets like NUS and BeyondRGB demonstrate that NPM outperforms recent state-of-the-art methods, providing robust chromatic consistency across different sensors and optical systems.
- Abstract(参考訳): 複数のカメラで一貫した色再現を実現することは、現代のデバイスにおけるシームレスな画像融合と画像処理パイプライン(ISP)の互換性に不可欠であるが、センサーや光学のバリエーションのため、難しい課題である。
既存のraw-to-raw変換手法では、照明変更への適応性の低下、高い計算コスト、同時カメラ操作やオーバーラップ・オブ・ビューといった非現実的な要件といった制限に直面している。
我々は,デバイス間の変換を推定するために,特定の照明下での生画像のシミュレートを行う軽量で物理的にインフォームドされたアプローチであるニューラル・フィジカル・モデル(NPM)を導入する。
NPMは、様々な照明条件に効果的に適応し、物理的測定で初期化することができ、ペアデータの有無にかかわらずトレーニングをサポートする。
NUSやBeyondRGBのような公開データセットの実験は、NPMが最近の最先端の手法よりも優れており、異なるセンサーや光学系間で堅牢な色調一貫性を提供することを示した。
関連論文リスト
- Towards Realistic Low-Light Image Enhancement via ISP Driven Data Modeling [61.95831392879045]
深部ニューラルネットワーク(DNN)は近年,低照度画像強調(LLIE)の先導手法となっている。
大幅な進歩にもかかわらず、彼らの出力は、増幅ノイズ、誤ったホワイトバランス、または現実世界のアプリケーションに展開する際の不自然な拡張のような問題を示す可能性がある。
重要な課題は、低照度条件と撮像パイプラインの複雑さを捉える多様な大規模トレーニングデータの欠如である。
本稿では,この課題に対処し,無制限にペア化されたトレーニングデータを生成する,新しい画像信号処理(ISP)駆動型データ合成パイプラインを提案する。
論文 参考訳(メタデータ) (2025-04-16T15:53:53Z) - DPCS: Path Tracing-Based Differentiable Projector-Camera Systems [49.69815958689441]
ProCamのプロジェクタカメラシステム(ProCams)シミュレーションは、プロカメラの物理的プロジェクタ・アンド・キャプチャ・プロセスと関連するシーンパラメータをモデル化することを目的としている。
最近の進歩は、プロジェクト・アンド・キャプチャプロセスを学ぶためにエンドツーエンドのニューラルネットワークを使用している。
本稿では,新しい経路追従型微分可能プロジェクタカメラシステム(DPCS)を導入し,微分可能なProCamsシミュレーション手法を提案する。
論文 参考訳(メタデータ) (2025-03-15T15:31:18Z) - RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images [51.68432586065828]
本稿では,カメラRAWデータへのsRGB事前学習モデルの適用を目的とした新しいアプローチであるRAW-Adapterを紹介する。
Raw-Adapterは、学習可能なISPステージを使用してRAW入力を調整する入力レベルアダプタと、ISPステージとその後の高レベルネットワーク間の接続を構築するモデルレベルアダプタで構成されている。
論文 参考訳(メタデータ) (2024-08-27T06:14:54Z) - Implicit Multi-Spectral Transformer: An Lightweight and Effective Visible to Infrared Image Translation Model [0.6817102408452475]
コンピュータビジョンでは、可視光画像は低照度条件において低コントラストを示すことが多く、重要な課題である。
近年のディープラーニング,特にGAN(Generative Adversarial Networks)の展開は,可視光画像から赤外線画像への変換を促進している。
可視光画像から高忠実度赤外線画像へ効率よく変換するエンド・ツー・エンド・エンド・トランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2024-04-10T15:02:26Z) - Dimma: Semi-supervised Low Light Image Enhancement with Adaptive Dimming [0.728258471592763]
自然色を維持しながら低照度画像を強調することは、カメラ処理のバリエーションによって難しい問題である。
そこで我々はDimmaを提案する。Dimmaは、画像対の小さなセットを利用して、任意のカメラと整合する半教師付きアプローチである。
そこで我々は,照明の違いに基づいて,シーンの歪み色を生成する畳み込み混合密度ネットワークを導入することで実現した。
論文 参考訳(メタデータ) (2023-10-14T17:59:46Z) - Make Explicit Calibration Implicit: Calibrate Denoiser Instead of the
Noise Model [83.9497193551511]
デジタルゲインやカメラセンサーによらず有効であるLED(Lighting Every Darkness)を導入する。
LEDは明示的なノイズモデルのキャリブレーションの必要性を排除し、高速な展開と最小限のデータを必要とする暗黙の微調整プロセスを活用する。
LEDは、センサー工学の利点を生かしながら、ディープラーニングの進歩にもっと注力することを可能にする。
論文 参考訳(メタデータ) (2023-08-07T10:09:11Z) - GenISP: Neural ISP for Low-Light Machine Cognition [19.444297600977546]
低照度環境では、原画像データを用いた物体検出器は、ISPパイプラインで処理された画像データを用いた検出器よりも堅牢である。
我々は、デバイスに依存しないカラー空間にカラー空間変換を明示的に組み込んだ、マシン認知のための最小限のニューラルISPパイプラインGenISPを提案する。
論文 参考訳(メタデータ) (2022-05-07T17:17:24Z) - Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination
Conditions via Fourier Adversarial Networks [35.532434169432776]
照明とノイズ除去の逐次的バランスをとる軽量な2段階画像強調アルゴリズムを提案する。
また、異なる照明条件下での一貫した画像強調のためのフーリエスペクトルベース対向フレームワーク(AFNet)を提案する。
また,定量的および定性的な評価に基づいて,画像強調技術が共通認識タスクの性能に与える影響について検討した。
論文 参考訳(メタデータ) (2022-04-04T18:48:51Z) - Learning Enriched Illuminants for Cross and Single Sensor Color
Constancy [182.4997117953705]
ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。
センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。
実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2022-03-21T15:45:35Z) - Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する
近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。
本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
論文 参考訳(メタデータ) (2022-01-10T08:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。