論文の概要: Fast Neural Models for Symbolic Regression at Scale

• arxiv url: http://arxiv.org/abs/2007.10784v2
• Date: Sat, 10 Jul 2021 17:50:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 21:47:53.008647
• Title: Fast Neural Models for Symbolic Regression at Scale
• Title（参考訳）: 大規模シンボリック回帰のための高速ニューラルネットワークモデル
• Authors: Allan Costa and Rumen Dangovski and Owen Dugan and Samuel Kim and Pawan Goyal and Marin Solja\v{c}i\'c and Joseph Jacobson
• Abstract要約: OccamNetは、データの適合のための解釈可能、コンパクト、スパースなソリューションを見つけるニューラルネットワークモデルである。 我々の方法はメモリフットプリントが最小限で、効率的なトレーニングにはAIアクセラレータを必要とせず、単一のCPU上で数分のトレーニングで複雑な機能に適合する。
• 参考スコア（独自算出の注目度）: 6.990003917118467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning owes much of its success to the astonishing expressiveness of neural networks. However, this comes at the cost of complex, black-boxed models that extrapolate poorly beyond the domain of the training dataset, conflicting with goals of finding analytic expressions to describe science, engineering and real world data. Under the hypothesis that the hierarchical modularity of such laws can be captured by training a neural network, we introduce OccamNet, a neural network model that finds interpretable, compact, and sparse solutions for fitting data, \`{a} la Occam's razor. Our model defines a probability distribution over a non-differentiable function space. We introduce a two-step optimization method that samples functions and updates the weights with backpropagation based on cross-entropy matching in an evolutionary strategy: we train by biasing the probability mass toward better fitting solutions. OccamNet is able to fit a variety of symbolic laws including simple analytic functions, recursive programs, implicit functions, simple image classification, and can outperform noticeably state-of-the-art symbolic regression methods on real world regression datasets. Our method requires minimal memory footprint, does not require AI accelerators for efficient training, fits complicated functions in minutes of training on a single CPU, and demonstrates significant performance gains when scaled on a GPU. Our implementation, demonstrations and instructions for reproducing the experiments are available at https://github.com/druidowm/OccamNet_Public.
• Abstract（参考訳）: ディープラーニングの成功は、ニューラルネットワークの驚くべき表現力に起因している。 しかし、これは、科学、エンジニアリング、および現実世界のデータを記述する分析式を見つけるという目標と矛盾する、トレーニングデータセットのドメインをはるかに超過する複雑なブラックボックスモデルのコストが伴う。 このような法則の階層的モジュラリティは、ニューラルネットワークのトレーニングによって捉えることができるという仮説のもとに、解釈可能でコンパクトでスパースな解を見つけるニューラルネットワークモデルであるoccamnet(英語版)を紹介し、データ適合のための解である \`{a} la occam's razor(英語版)を紹介する。 我々のモデルは微分不可能関数空間上の確率分布を定義する。 進化戦略におけるクロスエントロピーマッチングに基づいて,関数をサンプリングし,重みを逆プロパゲーションで更新する2段階最適化手法を提案する。 OccamNetは、単純な分析関数、再帰的プログラム、暗黙的な関数、単純な画像分類など、さまざまな記号法則に適合し、実世界の回帰データセット上で、顕著に最先端のシンボル回帰手法を上回ります。 我々の手法はメモリフットプリントを最小限に抑え、AIアクセラレーターを必要とせず、単一のCPU上でのトレーニングに数分で複雑な関数を適合させ、GPU上でスケールした場合の大幅なパフォーマンス向上を示す。 実験を再現するための実装、デモ、インストラクションはhttps://github.com/druidowm/occamnet_public.comで利用可能です。

関連論文リスト

• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Accelerated Neural Network Training with Rooted Logistic Objectives [13.400503928962756]
  我々は、少なくともロジスティック損失と同じくらい厳密なエムの厳密凸関数列を導出する。 その結果,根付き損失関数による学習はより早く収束し,性能が向上した。
  論文  参考訳（メタデータ） (2023-10-05T20:49:48Z)
• Neural Spline Search for Quantile Probabilistic Modeling [35.914279831992964]
  パラメトリックな仮定を伴わない観測データ分布を表現するために,非パラメトリックかつデータ駆動型手法であるニューラルスプラインサーチ(NSS)を提案する。 我々は,NASが,合成,実世界の回帰,時系列予測タスクにおいて,従来の手法よりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2023-01-12T07:45:28Z)
• Variational Hierarchical Mixtures for Probabilistic Learning of Inverse Dynamics [20.953728061894044]
  適切に校正された確率回帰モデルは、データセットが急速に成長し、タスクがより複雑になるにつれて、ロボットアプリケーションにおいて重要な学習要素である。 計算効率のよい表現と計算複雑性の正規化を両世界の利点と組み合わせた確率論的階層的モデリングパラダイムを考察する。 これらの表現を学習するための2つの効率的な変分推論手法を導出し、階層的無限局所回帰モデルの利点を強調する。
  論文  参考訳（メタデータ） (2022-11-02T13:54:07Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Deep Learning with Functional Inputs [0.0]
  本稿では,機能データをフィードフォワードニューラルネットワークに統合する手法を提案する。 この手法の副産物は、最適化プロセス中に可視化できる動的な機能的重みの集合である。 このモデルは、新しいデータの予測や真の機能的重みの回復など、多くの文脈でうまく機能することが示されている。
  論文  参考訳（メタデータ） (2020-06-17T01:23:00Z)
• BayesFlow: Learning complex stochastic models with invertible neural networks [3.1498833540989413]
  可逆ニューラルネットワークに基づく世界規模のベイズ推定手法を提案する。 BayesFlowは、観測されたデータを最大情報的な要約統計に埋め込むよう訓練された要約ネットワークを組み込んでいる。 本研究では, 人口動態, 疫学, 認知科学, 生態学の難易度モデルに対するベイズフローの有用性を実証する。
  論文  参考訳（メタデータ） (2020-03-13T13:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。