論文の概要: An analytic theory of convolutional neural network inverse problems solvers

• arxiv url: http://arxiv.org/abs/2601.10334v1
• Date: Thu, 15 Jan 2026 12:25:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:19.13048
• Title: An analytic theory of convolutional neural network inverse problems solvers
• Title（参考訳）: 畳み込みニューラルネットワーク逆問題解法の解析理論
• Authors: Minh Hai Nguyen, Quoc Bao Do, Edouard Pauwels, Pierre Weiss,
• Abstract要約: 我々は,最小平均角誤差(MMSE)推定器のレンズを用いて,訓練されたニューラルネットワークを解析した。 経験的学習分布の下では、この制約付き変種に対する解析的、解釈可能、およびトラクタブルな公式を導出する。 我々は、我々の理論がニューラルネットワークの出力と一致することを示す(PSNR $gtrsim25$dB)。
• 参考スコア（独自算出の注目度）: 5.55979411072702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised convolutional neural networks (CNNs) are widely used to solve imaging inverse problems, achieving state-of-the-art performance in numerous applications. However, despite their empirical success, these methods are poorly understood from a theoretical perspective and often treated as black boxes. To bridge this gap, we analyze trained neural networks through the lens of the Minimum Mean Square Error (MMSE) estimator, incorporating functional constraints that capture two fundamental inductive biases of CNNs: translation equivariance and locality via finite receptive fields. Under the empirical training distribution, we derive an analytic, interpretable, and tractable formula for this constrained variant, termed Local-Equivariant MMSE (LE-MMSE). Through extensive numerical experiments across various inverse problems (denoising, inpainting, deconvolution), datasets (FFHQ, CIFAR-10, FashionMNIST), and architectures (U-Net, ResNet, PatchMLP), we demonstrate that our theory matches the neural networks outputs (PSNR $\gtrsim25$dB). Furthermore, we provide insights into the differences between \emph{physics-aware} and \emph{physics-agnostic} estimators, the impact of high-density regions in the training (patch) distribution, and the influence of other factors (dataset size, patch size, etc).
• Abstract（参考訳）: CNN(Supervised Convolutional Neural Network)は、画像逆問題を解決するために広く使われ、多くのアプリケーションで最先端の性能を実現している。 しかし、実証的な成功にもかかわらず、これらの手法は理論的な観点からはあまり理解されておらず、しばしばブラックボックスとして扱われる。 このギャップを埋めるために、我々は、最小平均平方誤差(MMSE)推定器のレンズを通してトレーニングされたニューラルネットワークを分析し、CNNの2つの基本的な帰納バイアス(翻訳同値と有限受容場による局所性)を捉える機能的制約を取り入れた。 本研究では,この制約付き変種に対する解析的・解釈可能・トラクタブルな式である局所同変MMSE(LE-MMSE)を導出した。 様々な逆問題(デノイング、インペイント、デコンボリューション)、データセット(FFHQ、CIFAR-10、FashionMNIST)、アーキテクチャ(U-Net、ResNet、PatchMLP)にわたる広範な数値実験を通じて、我々の理論がニューラルネットワーク出力(PSNR $\gtrsim25$dB)と一致することを示した。 さらに,<emph{physics-aware}と<emph{physics-agnostic}の推定値の違い,トレーニング(パッチ)分布における高密度領域の影響,および他の要因(データセットサイズ,パッチサイズなど)の影響について考察した。

関連論文リスト

• Pruning Deep Neural Networks via a Combination of the Marchenko-Pastur Distribution and Regularization [0.18641315013048293]
  視覚変換器(ViT)は、画像分類のためのディープラーニング分野において、強力なモデルのクラスとして登場した。 重みと特異ベクトルのスパーシフィケーションに基づいて事前学習したDNNを刈り取るためのRandom Matrix Theory(RMT)に基づく新しい手法を提案する。 我々は,RTTを用いたプルーニングを用いて,精度1%未満の精度で,VTモデルのパラメータ数を30～50%削減できることを実証した。
  論文  参考訳（メタデータ） (2025-03-02T05:25:20Z)
• ASPINN: An asymptotic strategy for solving singularly perturbed differential equations [12.14934707131722]
  本稿では,物理インフォームドニューラルネットワーク (PINN) と一般結合型物理インフォームドニューラルネットワーク (GKPINN) を一般化した漸近型物理インフォームドニューラルネットワーク (ASPINN) を提案する。 ASPINNは、境界層に指数層が配置されているため、SPDEを解くのに強力な適合性を持つ。 本稿では,ASPINN法が境界層問題において有望であることを示す,多様なSPDEのクラスを解くことでASPINNの効果を実証する。
  論文  参考訳（メタデータ） (2024-09-20T03:25:17Z)
• Feature Mapping in Physics-Informed Neural Networks (PINNs) [1.9819034119774483]
  本研究では, Conjugate Kernel と Neural Tangent Kernel を限定した特徴マッピング層を用いた PINN の訓練力学について検討する。 より優れた代替として,条件付き正定値ラジアル基底関数を提案する。
  論文  参考訳（メタデータ） (2024-02-10T13:51:09Z)
• SO(2) and O(2) Equivariance in Image Recognition with Bessel-Convolutional Neural Networks [63.24965775030674]
  この研究はベッセル畳み込みニューラルネットワーク(B-CNN)の開発を示す B-CNNは、ベッセル関数に基づく特定の分解を利用して、画像とフィルタの間のキー操作を変更する。 他の手法と比較して,B-CNNの性能を評価するために検討を行った。
  論文  参考訳（メタデータ） (2023-04-18T18:06:35Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• On the limits of neural network explainability via descrambling [2.5554069583567487]
  隠蔽層プレアクティベーションの主成分は, 層重みの最適説明器やデクランブラーとして特徴付けられることを示す。 典型的なディープラーニングの文脈では、これらのデクランブラーは多様で興味深い形式をとっています。
  論文  参考訳（メタデータ） (2023-01-18T23:16:53Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Physics informed neural networks for continuum micromechanics [68.8204255655161]
  近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。 グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。 実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
  論文  参考訳（メタデータ） (2021-10-14T14:05:19Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。