論文の概要: CAS4DL: Christoffel Adaptive Sampling for function approximation via
Deep Learning
- arxiv url: http://arxiv.org/abs/2208.12190v1
- Date: Thu, 25 Aug 2022 16:21:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-26 14:08:45.945289
- Title: CAS4DL: Christoffel Adaptive Sampling for function approximation via
Deep Learning
- Title（参考訳）: CAS4DL: ディープラーニングによる関数近似のためのChristoffel Adaptive Smpling
- Authors: Ben Adcock, Juan M. Cardenas and Nick Dexter
- Abstract要約: ディープラーニング(DL)のサンプル効率を向上させるための適応型サンプリング戦略であるCAS4DLを提案する。
以上の結果から,CAS4DLは精度向上に必要なサンプル数を大幅に削減できることがわかった。
- 参考スコア（独自算出の注目度）: 2.513785998932353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The problem of approximating smooth, multivariate functions from sample
points arises in many applications in scientific computing, e.g., in
computational Uncertainty Quantification (UQ) for science and engineering. In
these applications, the target function may represent a desired quantity of
interest of a parameterized Partial Differential Equation (PDE). Due to the
large cost of solving such problems, where each sample is computed by solving a
PDE, sample efficiency is a key concerning these applications. Recently, there
has been increasing focus on the use of Deep Neural Networks (DNN) and Deep
Learning (DL) for learning such functions from data. In this work, we propose
an adaptive sampling strategy, CAS4DL (Christoffel Adaptive Sampling for Deep
Learning) to increase the sample efficiency of DL for multivariate function
approximation. Our novel approach is based on interpreting the second to last
layer of a DNN as a dictionary of functions defined by the nodes on that layer.
With this viewpoint, we then define an adaptive sampling strategy motivated by
adaptive sampling schemes recently proposed for linear approximation schemes,
wherein samples are drawn randomly with respect to the Christoffel function of
the subspace spanned by this dictionary. We present numerical experiments
comparing CAS4DL with standard Monte Carlo (MC) sampling. Our results
demonstrate that CAS4DL often yields substantial savings in the number of
samples required to achieve a given accuracy, particularly in the case of
smooth activation functions, and it shows a better stability in comparison to
MC. These results therefore are a promising step towards fully adapting DL
towards scientific computing applications.
- Abstract（参考訳）: サンプル点から滑らかな多変量関数を近似する問題は、科学と工学のための計算の不確実性量子化(UQ)など、科学計算における多くの応用において発生する。
これらの応用において、対象関数はパラメータ化部分微分方程式(PDE)の所望の量の興味を表すことができる。
PDEを解くことで各サンプルが計算されるような、そのような問題を解決するコストが大きいため、サンプル効率はこれらのアプリケーションにおいて鍵となる。
近年、データからこれらの関数を学習するためにDeep Neural Networks(DNN)とDeep Learning(DL)の使用に注目が集まっている。
本研究では,多変量関数近似のためのdlのサンプル効率を向上させるための適応サンプリング戦略cas4dl(christoffel adaptive sampling for deep learning)を提案する。
提案手法は,dnnの2層から最後の層を,その層上のノードによって定義された関数の辞書として解釈することに基づいている。
この観点から,最近提案された線形近似スキームに対する適応的サンプリングスキームに動機づけられた適応的サンプリング戦略を定め,この辞書にまたがる部分空間のクリストッフェル関数に対して標本をランダムに描画する。
我々はCAS4DLと標準モンテカルロサンプリングを比較した数値実験を行った。
以上の結果から,cas4dlは,特にスムースアクティベーション関数の場合において,所定の精度を達成するために必要なサンプル数を大幅に削減でき,mcと比較して安定性が向上することが示された。
これらの結果は、科学計算応用へのDLの完全適応に向けた有望なステップである。
関連論文リスト
- Model-aware reinforcement learning for high-performance Bayesian
experimental design in quantum metrology [0.5461938536945721]
量子センサは、様々なパラメータにわたる実験者による操作を可能にすることで、推定中に制御の柔軟性を提供する。
量子力学、推定、仮説テストにおいて、幅広い問題を最適化できる汎用的な手順を導入する。
粒子フィルタリングに基づくモデル認識強化学習(RL)とベイズ推定を組み合わせた。
論文 参考訳（メタデータ） (2023-12-28T12:04:15Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - CS4ML: A general framework for active learning with arbitrary data based
on Christoffel functions [0.7366405857677226]
回帰問題における能動的学習のための一般的なフレームワークを紹介する。
本フレームワークは, 有限個のサンプリング測度と任意の非線形近似空間に基づいて, ランダムサンプリングを考察する。
本稿では,能動的学習が望ましい科学計算の応用に焦点を当てる。
論文 参考訳（メタデータ） (2023-06-01T17:44:19Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。
それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
論文 参考訳（メタデータ） (2022-08-08T11:51:01Z) - Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。
我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。
我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
論文 参考訳（メタデータ） (2021-10-21T14:47:06Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-06-22T16:07:02Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳（メタデータ） (2021-04-09T14:50:59Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast
Convergence [30.393999722555154]
本稿では,古典的ポリアクステップサイズ (Polyak, 1987) の亜次法でよく用いられる変種を提案する。
The proposed Polyak step-size (SPS) is a attractive choice for set the learning rate for gradient descent。
論文 参考訳（メタデータ） (2020-02-24T20:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。