論文の概要: Active Learning for Single Neuron Models with Lipschitz Non-Linearities

• arxiv url: http://arxiv.org/abs/2210.13601v1
• Date: Mon, 24 Oct 2022 20:55:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 15:14:28.427538
• Title: Active Learning for Single Neuron Models with Lipschitz Non-Linearities
• Title（参考訳）: リプシッツ非線形単一ニューロンモデルの能動的学習
• Authors: Aarshvi Gajjar, Chinmay Hegde, Christopher Musco
• Abstract要約: 単一ニューロンモデルにおける能動的学習の問題点を考察する。 リプシッツ非線型性を持つ単一ニューロンモデルに対して、強い証明可能な近似保証が得られることを示す。
• 参考スコア（独自算出の注目度）: 35.119032992898774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of active learning for single neuron models, also sometimes called ``ridge functions'', in the agnostic setting (under adversarial label noise). Such models have been shown to be broadly effective in modeling physical phenomena, and for constructing surrogate data-driven models for partial differential equations. Surprisingly, we show that for a single neuron model with any Lipschitz non-linearity (such as the ReLU, sigmoid, absolute value, low-degree polynomial, among others), strong provable approximation guarantees can be obtained using a well-known active learning strategy for fitting \emph{linear functions} in the agnostic setting. % -- i.e. for the case when there is no non-linearity. Namely, we can collect samples via statistical \emph{leverage score sampling}, which has been shown to be near-optimal in other active learning scenarios. We support our theoretical results with empirical simulations showing that our proposed active learning strategy based on leverage score sampling outperforms (ordinary) uniform sampling when fitting single neuron models.
• Abstract（参考訳）: 単一ニューロンモデルのアクティブラーニングの問題(しばしば「リッジ関数」とも呼ばれる)を、不可知な設定(逆ラベル雑音下で)において検討する。 このようなモデルは、物理現象のモデリングや偏微分方程式の代理データ駆動モデルの構築に広く有効であることが示されている。 驚くべきことに、任意のリプシッツ非線形性(relu、sgmoid、絶対値、低次多項式など)を持つ単一ニューロンモデルの場合、無依存な設定で \emph{linear function} を満たすための有名なアクティブ学習戦略を用いて、強い証明可能な近似保証が得られる。 % --すなわち、非線形性が存在しない場合である。 すなわち、他のアクティブな学習シナリオでほぼ最適であることが示されている統計値 \emph{leverage score sampling} によってサンプルを収集できる。 実験的なシミュレーションにより,単一ニューロンモデルに適合する場合に,スコアサンプリング法(通常)に匹敵する一様サンプリングを活用し,アクティブラーニング戦略を提案する。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• Adaptive Conditional Quantile Neural Processes [9.066817971329899]
  条件量子ニューラルプロセス(CQNP)は、ニューラルプロセスファミリーの新たなメンバーである。 本稿では,情報量推定に焦点をあてることから学習する量子レグレッションの拡張を提案する。 実データと合成データセットによる実験は、予測性能を大幅に改善した。
  論文  参考訳（メタデータ） (2023-05-30T06:19:19Z)
• Neural Frailty Machine: Beyond proportional hazard assumption in neural survival regressions [30.018173329118184]
  生存回帰のための強力なフレキシブルなニューラル・モデリング・フレームワークであるニューラル・フラリティ・マシン(NFM)を提案する。 2つの具体的なモデルは、ニューラル比例ハザードモデルと非ハザード回帰モデルを拡張する枠組みに基づいて導出される。 我々は,異なるスケールのベンチマークデータセットを6ドル以上で評価し,提案したNAMモデルは予測性能において最先端サバイバルモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-18T08:15:15Z)
• Is Model Ensemble Necessary? Model-based RL via a Single Model with Lipschitz Regularized Value Function [23.255250192599327]
  確率力学モデルアンサンブルは、既存のモデルに基づく強化学習法で広く使われている。 値函数に対して、リプシッツ条件が強くなるほど、真の力学によって誘導されるベルマン作用素の間のギャップは小さくなる。
  論文  参考訳（メタデータ） (2023-02-02T17:27:16Z)
• Neural Abstractions [72.42530499990028]
  本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。 提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-01-27T12:38:09Z)
• A Statistical-Modelling Approach to Feedforward Neural Network Model Selection [0.8287206589886881]
  フィードフォワードニューラルネットワーク(FNN)は非線形回帰モデルと見なすことができる。 FNNのためのベイズ情報基準(BIC)を用いて,新しいモデル選択法を提案する。 サンプル外性能よりもBICを選択することは、真のモデルを回復する確率を増大させる。
  論文  参考訳（メタデータ） (2022-07-09T11:07:04Z)
• Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
  アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。 潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-02-27T19:07:12Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。