論文の概要: The Need for Neural ISP in the Small-Pixel Era: How Shrinking Pixels Push Optics to the Limit and Neural Restoration Pushes Back

• arxiv url: http://arxiv.org/abs/2606.07675v1
• Date: Thu, 04 Jun 2026 18:47:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.265904
• Title: The Need for Neural ISP in the Small-Pixel Era: How Shrinking Pixels Push Optics to the Limit and Neural Restoration Pushes Back
• Title（参考訳）: 小型カメラ時代におけるニューラルISPの必要性: レンズを細くすることで光学が限界まで押し戻され、ニューラル修復が後戻りする
• Authors: Jingxi Li, Neerja Aggarwal, Laurent Gudemann, Shivansh Rao, Vishal Vinod, Tom E. Bishop, Ziv Attar,
• Abstract要約: 画像復元のための学習ベースのNeural ISPは、根底にある劣化に基づいて訓練され、ステージワイズパイプラインではできないことを逆転させる。 この結果から、ニューラルISPは残光収差を補正することで高解像度の望遠モジュールを実現するという設計思想が示唆された。
• 参考スコア（独自算出の注目度）: 1.8130094118888165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Smartphone telephoto cameras are approaching a "telephoto physics wall": as pixel pitches shrink toward sub-0.5 micron, the optics remain limited by geometric aberrations, leading to diminishing returns on resolution. Traditional Image Signal Processors (ISPs) cannot eliminate these aberrations, because they operate through local, stage-wise processing with no explicit model of the underlying point spread function (PSF). We demonstrate how a learning-based Neural ISP for image restoration, trained on the underlying degradations, inverts what stage-wise pipelines cannot, turning small-pixel designs into a net advantage. We investigate this through a controlled simulation of a representative telephoto module, evaluating five configurations (0.35--0.75 micron pixel pitch). The aperture is scaled proportionally to keep per-pixel SNR and diffraction spot size fixed, thereby isolating geometric aberration and spatial sampling. While the traditional ISP improves only modestly with smaller pixels, the Neural ISP scales substantially: at 0.35 micron} it reaches 745 cycles/mm MTF50 (vertical), a 2.5--3x resolution improvement over the traditional ISP, and LPIPS improves significantly from 0.244 to 0.151 while traditional results stay comparatively flat. In a low-SNR extension (15 dB per-frame bursts at 0.35 micron), a multi-frame Neural ISP recovers performance close to the bright-light single-frame baseline, whereas a multi-frame traditional ISP shows no meaningful improvement -- indicating that traditional pipelines at small pixels are bottlenecked by uncorrected PSF blur rather than by noise. These results point to a design philosophy in which Neural ISPs enable high-resolution telephoto modules by correcting residual optical aberrations rather than requiring increasingly complex optics.
• Abstract（参考訳）: ピクセルピッチが0.5ミクロン以下に縮小するにつれ、光学系は幾何収差によって制限され、解像度が低下する。 従来の画像信号処理装置(ISP)は、根底にある点拡散関数(PSF)の明示的なモデルを持たず、局所的、段階的に処理するので、これらの収差を排除できない。 画像復元のための学習ベースのNeural ISPが、根底にある劣化をトレーニングし、ステージワイズパイプラインができないことを逆転させ、小さなピクセル設計をネット上の優位性に変える方法を示す。 代表光モジュールを制御したシミュレーションにより,5つの構成(0.35-0.75マイクロンピッチ)を評価する。 開口は、画素ごとのSNRと回折スポットサイズを一定に保つために比例して拡大され、幾何学的収差と空間的サンプリングが分離される。 従来のISPは小さなピクセルでわずかにしか改善されないが、Neural ISPは実質的にスケールし、0.35マイクロンで745サイクル/mm MTF50(垂直)に達し、従来のISPよりも2.5～3倍の解像度が向上し、LPIPSは0.244から0.151に大幅に改善されている。 低SNR拡張(0.35マイクロンで15dBバースト)では、マルチフレームのNeural ISPが明るいシングルフレームベースラインに近いパフォーマンスを回復する一方、マルチフレームの従来のISPは有意義な改善を示さない。 これらの結果は、より複雑な光学を必要とするのではなく、残光収差を補正することで、ニューラルISPが高解像度の望遠モジュールを可能にする設計思想を示している。

関連論文リスト

• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• PixIE: Prompted Pixel-Space Low-Light Image Enhancement [9.689691044956806]
  低照度画像は、激しいノイズ、コントラスト損失、意味的曖昧さに悩まされる。 視覚基盤モデルによって意味的に誘導されるフィードフォワードピクセル空間LLIEフレームワークであるPixIEを提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:50:40Z)
• DiP: Taming Diffusion Models in Pixel Space [91.51011771517683]
  Diffusion Transformer (DiT) バックボーンは、効率的なグローバル構造構築のために大きなパッチで動作する。 共同トレーニングされた軽量パッチディーラーヘッドは、コンテキスト機能を活用して、きめ細かいローカル詳細を復元する。
  論文  参考訳（メタデータ） (2025-11-24T06:55:49Z)
• Deep Learning Empowered Sub-Diffraction Terahertz Backpropagation Single-Pixel Imaging [1.196682203233596]
  テラヘルツ単画素イメージング(THz SPI)は、THz焦点平面アレイに関連する課題を克服する可能性について広く注目を集めている。 本稿では,サブ回折THzバックプロパゲーションSPI手法を提案する。 連続波 0.36-THz (lambda0 = 833.3 mum) で物体を照らす。 送信されたTHz波は500mのシリコンウエハ上に生成された予め配列されたパターンによって変調され、その後遠視野単画素検出器によって記録される。 物理的SPIに拘束された未学習ニューラルネットワーク
  論文  参考訳（メタデータ） (2025-05-05T09:59:13Z)
• Event-guided Multi-patch Network with Self-supervision for Non-uniform Motion Deblurring [113.96237446327795]
  本稿では,ぼやけた画像やビデオを扱うための,イベント誘導型深層階層型マルチパッチネットワークを提案する。 また、ビデオ内の複雑なぼやけに対処するために、動画に含まれる動きの手がかりを利用するイベント誘導アーキテクチャを提案する。 我々のMPNは、現在のマルチスケール手法に比べて40倍高速なランタイムでGoProとVideoDeblurringデータセットの最先端を達成しています。
  論文  参考訳（メタデータ） (2023-02-14T15:58:00Z)
• LW-ISP: A Lightweight Model with ISP and Deep Learning [17.972611191715888]
  ISPパイプラインにおけるリアルタイム高速処理を実現するための学習ベース手法の可能性を示す。 RAWデータからRGB画像へのイメージマッピングを暗黙的に学習する新しいアーキテクチャであるLW-ISPを提案する。 実験により、LW-ISPはPSNRの0.38dB改善を達成した。
  論文  参考訳（メタデータ） (2022-10-08T04:00:03Z)
• SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network [6.722629246312285]
  本稿では,SPI-GANと呼ばれる一画素イメージングのための生成的対向的ネットワークベース再構成フレームワークを提案する。 サンプリング比が5%に低下しても、17.92dBのPSNRと0.487のSSIMで画像を再構成することができる。
  論文  参考訳（メタデータ） (2021-07-03T03:06:09Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• Asymmetric CNN for image super-resolution [102.96131810686231]
  深層畳み込みニューラルネットワーク(CNN)は、過去5年間で低レベルビジョンに広く適用されています。 画像超解像のための非対称ブロック(AB)、mem?ory拡張ブロック(MEB)、高周波数特徴強調ブロック(HFFEB)からなる非対称CNN(ACNet)を提案する。 我々のACNetは、ブラインドノイズの単一画像超解像(SISR)、ブラインドSISR、ブラインドSISRを効果的に処理できる。
  論文  参考訳（メタデータ） (2021-03-25T07:10:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。