論文の概要: A Deep Risk Estimator for Known Operator Learning

• arxiv url: http://arxiv.org/abs/2605.08517v1
• Date: Fri, 08 May 2026 21:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.70314
• Title: A Deep Risk Estimator for Known Operator Learning
• Title（参考訳）: 演算子学習のための深層リスク推定器
• Authors: Andreas Maier, Md Hasan, Paulina Conrad, Paula Andrea Perez-Toro,
• Abstract要約: 本稿では,学習演算子と既知の演算子の混合を含むディープネットワークの統計的リスクを推定するためのアプローチについて述べる。 層状ネットワークの予測誤差とトレーニングサンプルのサイズを結合する深層リスク推定器を導出する。
• 参考スコア（独自算出の注目度）: 3.1387745968672274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We describe an approach for estimating the statistical risk of deep networks that contain a mix of learned and known operators. Building on the maximal training error bounds previously established for known operator learning, we derive a deep risk estimator that connects the expected error of a layered network to the size of the training sample. The estimator decomposes the total risk into a sum over learned layers; every known operator contributes zero to this sum, while every learned layer adds an approximation term inspired by Barron's classic work and an estimation term that decreases with the number of training samples. We are able to show that the bound shrinks whenever a learned layer is replaced by a known operator and that the corresponding sample requirement scales with the number of trainable parameters of the layer that is replaced. As an application, we use computed tomography as an example and compare an operator-aware filtered backprojection network with a fully connected substitute that collapses the entire reconstruction pipeline into a single learned dense matrix. The predicted parameter ratio coincides with the structural sparsity that the analytic decomposition into a circulant filter and a sparse backprojection exposes. We confirm the predicted scaling on CPU at small image scale and on GPU at medium image scale, all on the same scaling law. Beyond CT reconstruction, the estimator applies to physics-informed neural networks that hardcode a known physical operation in its architecture, and we expect the result to be of interest for a broad community working on operator-aware deep learning. Calibrating the per-layer constants on each sweep yields a bound that tracks the empirical test MSE within a factor of two at every training-set size, so the estimator can be inverted to predict how many training samples are required to reach a target error.
• Abstract（参考訳）: 本稿では,学習演算子と既知の演算子の混合を含むディープネットワークの統計的リスクを推定するためのアプローチについて述べる。 既知演算子学習のために確立された最大トレーニング誤差境界に基づいて、階層ネットワークの予測エラーとトレーニングサンプルのサイズを結合する深層リスク推定器を導出する。 すべての既知の演算子が0をこの和に寄与する一方、すべての学習層はバロンの古典的な研究にインスパイアされた近似項と、トレーニングサンプルの数で減少する推定項を付加する。 学習層が既知の演算子に置き換えられるたびに境界が縮み、対応するサンプル要求は置換されるレイヤのトレーニング可能なパラメータの数とともにスケールすることを示すことができる。 アプリケーションとして,計算トモグラフィを例として用いて,演算子対応のフィルタバックプロジェクションネットワークと,再構築パイプライン全体を1つの学習密度行列に分解する完全に接続された代替品を比較した。 予測パラメータ比は、サーキュラントフィルタとスパースバックプロジェクションへの解析分解が露出する構造空間と一致する。 我々は、CPU上の予測スケーリングを、小さな画像スケールで、そして中規模のGPU上で、すべて同じスケーリング法則で確認する。 CT再構成以外にも、この推定器は、そのアーキテクチャで既知の物理操作をハードコードする物理情報ニューラルネットワークに適用される。 各スイープ上の層ごとの定数をキャリブレーションすると、各トレーニングセットサイズ毎の2つの係数で経験的テストMSEを追跡するバウンダリが得られるので、推定器を反転させて、目標誤差に達するのにどれくらいのトレーニングサンプルが必要なのかを予測することができる。

関連論文リスト

• Deep learning with missing data [3.829599191332801]
  本稿では,既存の計算手法と組み合わせて適用可能なパターン埋め込みニューラルネットワーク(PENN)を提案する。 インプットされたデータに基づいてトレーニングされたニューラルネットワークに加えて、PENNは観察指標のベクトルを第2のニューラルネットワークに渡して、コンパクトな表現を提供する。 出力は第3のニューラルネットワークに結合され、最終的な予測が生成される。
  論文  参考訳（メタデータ） (2025-04-21T18:57:36Z)
• Sampling weights of deep neural networks [1.2370077627846041]
  完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。 教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。 サンプルネットワークが普遍近似器であることを証明する。
  論文  参考訳（メタデータ） (2023-06-29T10:13:36Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Deep Nonparametric Estimation of Operators between Infinite Dimensional Spaces [41.55700086945413]
  本稿では、ディープニューラルネットワークを用いたリプシッツ作用素の非パラメトリック推定について検討する。 対象作用素が低次元構造を示すという仮定の下では、トレーニングサンプルサイズが大きくなるにつれて誤差は減衰する。 この結果から,演算子推定における低次元データ構造の利用による高速化が期待できる。
  論文  参考訳（メタデータ） (2022-01-01T16:33:44Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Data Augmentation Through Monte Carlo Arithmetic Leads to More Generalizable Classification in Connectomics [0.0]
  我々はMonte Carlo Arithmeticを用いて構造コネクトーム推定パイプラインを摂動する。 摂動ネットワークは、拡張データセットでキャプチャされ、年齢分類タスクに使用された。 この利点は、大量の摂動を妨げないので、データセットを極小に摂動しても意味のあるばらつきを生じさせ、その後に設計されたモデルで捉えることができることを示唆している。
  論文  参考訳（メタデータ） (2021-09-20T16:06:05Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
  我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。 アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。 また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
  論文  参考訳（メタデータ） (2020-06-21T11:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。