論文の概要: A Data-Adaptive Prior for Bayesian Learning of Kernels in Operators

• arxiv url: http://arxiv.org/abs/2212.14163v2
• Date: Fri, 18 Oct 2024 03:06:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:57.195605
• Title: A Data-Adaptive Prior for Bayesian Learning of Kernels in Operators
• Title（参考訳）: 演算子におけるカーネルのベイズ学習のためのデータ適応型事前学習
• Authors: Neil K. Chada, Quanjun Lang, Fei Lu, Xiong Wang,
• Abstract要約: 我々は、常に最小限の雑音を持つ安定な後部を実現するために、データ適応型を前もって導入する。 数値実験により、固定された先行は、4種類の誤りのいずれかが存在する場合、分岐した後部平均に繋がることが示された。
• 参考スコア（独自算出の注目度）: 4.09465251504657
• License:
• Abstract: Kernels are efficient in representing nonlocal dependence and they are widely used to design operators between function spaces. Thus, learning kernels in operators from data is an inverse problem of general interest. Due to the nonlocal dependence, the inverse problem can be severely ill-posed with a data-dependent singular inversion operator. The Bayesian approach overcomes the ill-posedness through a non-degenerate prior. However, a fixed non-degenerate prior leads to a divergent posterior mean when the observation noise becomes small, if the data induces a perturbation in the eigenspace of zero eigenvalues of the inversion operator. We introduce a data-adaptive prior to achieve a stable posterior whose mean always has a small noise limit. The data-adaptive prior's covariance is the inversion operator with a hyper-parameter selected adaptive to data by the L-curve method. Furthermore, we provide a detailed analysis on the computational practice of the data-adaptive prior, and demonstrate it on Toeplitz matrices and integral operators. Numerical tests show that a fixed prior can lead to a divergent posterior mean in the presence of any of the four types of errors: discretization error, model error, partial observation and wrong noise assumption. In contrast, the data-adaptive prior always attains posterior means with small noise limits.
• Abstract（参考訳）: カーネルは非局所依存を表現するのに効率的であり、関数空間間の作用素を設計するのに広く用いられている。 したがって、データから演算子のカーネルを学習することは一般的な関心の逆問題である。 非局所的依存のため、逆問題はデータ依存特異逆演算子に深刻な悪影響を及ぼすことができる。 ベイズ的アプローチは、非退化前の不備を克服する。 しかし、固定された非退化前は、データが反転作用素のゼロ固有値の固有空間の摂動を誘導した場合、観測ノイズが小さくなると、分岐後平均となる。 我々は、常に最小限の雑音を持つ安定な後部を実現するために、データ適応型を前もって導入する。 データ適応型事前共分散は、L曲線法によりデータに適応的に選択されたハイパーパラメータを持つ逆演算子である。 さらに,データ適応前の計算手法を詳細に解析し,Toeplitz行列や積分演算子上で実演する。 数値実験により、固定された先行は、離散化誤差、モデル誤差、部分的な観測、誤ったノイズ仮定の4種類の誤りのいずれかが存在する場合に、分岐した後部平均に繋がることが示された。 対照的に、データ適応プリエントは常に後部手段を小さなノイズ制限で達成する。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Efficient Prior Calibration From Indirect Data [5.588334720483076]
  本稿では,データから先行モデルを学習すること,特にノイズ観測プロセスを通じて得られた間接データの多元的実現から先行モデルを学習することに関心がある。 フォワードモデルの効率的な残差ベースニューラル演算子近似を提案し,これをプッシュフォワードマップと同時学習できることを示した。
  論文  参考訳（メタデータ） (2024-05-28T08:34:41Z)
• Understanding Optimal Feature Transfer via a Fine-Grained Bias-Variance Analysis [10.79615566320291]
  下流性能の最適化を目標として、トランスファーラーニングについて検討する。 任意の事前学習された特徴を入力として取る単純な線形モデルを導入する。 下流タスクのアンサンブル上で平均される下流リスクを最小化することにより、最適事前学習表現を同定する。
  論文  参考訳（メタデータ） (2024-04-18T19:33:55Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• GibbsDDRM: A Partially Collapsed Gibbs Sampler for Solving Blind Inverse Problems with Denoising Diffusion Restoration [64.8770356696056]
  本稿では,DDRM(Denoising Diffusion Restoration Models)の拡張であるGibbsDDRMを提案する。 提案手法は問題に依存しないため,様々な逆問題に対して事前学習した拡散モデルを適用することができる。
  論文  参考訳（メタデータ） (2023-01-30T06:27:48Z)
• On the Inconsistency of Kernel Ridgeless Regression in Fixed Dimensions [16.704246627541103]
  翻訳不変なカーネルを持つカーネルマシンである予測器の重要なクラスが、固定次元における良さの過度なオーバーフィッティングを示さないことを示す。 この結果は、ガウス、ラプラス、コーシーなどの一般的な翻訳不変カーネルに適用できる。
  論文  参考訳（メタデータ） (2022-05-26T17:43:20Z)
• Data adaptive RKHS Tikhonov regularization for learning kernels in operators [1.5039745292757671]
  DARTR: 演算子における関数パラメータの非パラメトリック学習における線形逆問題に対するデータ適応型RKHS Tikhonov正規化法を提案する。 鍵となる要素は、システム固有のデータ適応(SIDA)RKHSであり、その標準は、識別可能性の関数空間で起こる学習を制限する。
  論文  参考訳（メタデータ） (2022-03-08T01:08:35Z)
• Convergence Rates for Learning Linear Operators from Noisy Data [6.4423565043274795]
  本研究では,空間上の線形演算子を学習する逆問題について,ランダムな入力データに対する雑音の多い点評価から検討する。 ボヒナーノルムの族に対する後部収縮速度は、推定誤差よりも無限小の傾向にあるため確立する。 これらの収束速度は、有界あるいはコンパクトな作用素の学習と比較して線形作用素の学習の難しさを強調し、定量化する。
  論文  参考訳（メタデータ） (2021-08-27T22:09:53Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。