論文の概要: OccamNet: A Fast Neural Model for Symbolic Regression at Scale

• arxiv url: http://arxiv.org/abs/2007.10784v3
• Date: Tue, 28 Nov 2023 03:35:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-11-30 18:23:04.299070
• Title: OccamNet: A Fast Neural Model for Symbolic Regression at Scale
• Title（参考訳）: occamnet: 大規模記号回帰のための高速ニューラルネットワークモデル
• Authors: Owen Dugan and Rumen Dangovski and Allan Costa and Samuel Kim and Pawan Goyal and Joseph Jacobson and Marin Solja\v{c}i\'c
• Abstract要約: OccamNetは、データに適合する解釈可能でコンパクトでスパースなシンボルを見つけるニューラルネットワークモデルである。 本モデルでは,効率的なサンプリングと関数評価を行い,関数上の確率分布を定義する。 解析的および非解析的関数、暗黙的関数、単純な画像分類など、様々な問題に対する記号的適合を識別することができる。
• 参考スコア（独自算出の注目度）: 11.463756755780583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks' expressiveness comes at the cost of complex, black-box models that often extrapolate poorly beyond the domain of the training dataset, conflicting with the goal of finding compact analytic expressions to describe scientific data. We introduce OccamNet, a neural network model that finds interpretable, compact, and sparse symbolic fits to data, \`a la Occam's razor. Our model defines a probability distribution over functions with efficient sampling and function evaluation. We train by sampling functions and biasing the probability mass toward better fitting solutions, backpropagating using cross-entropy matching in a reinforcement-learning loss. OccamNet can identify symbolic fits for a variety of problems, including analytic and non-analytic functions, implicit functions, and simple image classification, and can outperform state-of-the-art symbolic regression methods on real-world regression datasets. Our method requires a minimal memory footprint, fits complicated functions in minutes on a single CPU, and scales on a GPU.
• Abstract（参考訳）: ニューラルネットワークの表現性は、しばしばトレーニングデータセットの領域をはるかに超越する複雑なブラックボックスモデルのコストを伴い、科学データを記述するためのコンパクトな解析式を見つけるという目標と矛盾する。 我々はOccamNetを紹介した。Occamのカミソリに適合する解釈可能でコンパクトでスパースなシンボルを見つけるニューラルネットワークモデルである。 本モデルは,効率的なサンプリングと関数評価による関数上の確率分布を定義する。 我々は,強化学習損失におけるクロスエントロピーマッチングを用いて,関数のサンプリングと確率質量の偏りをトレーニングする。 occamnetは、解析的および非解析的関数、暗黙的関数、単純な画像分類など、様々な問題に対する記号的適合を識別でき、実世界の回帰データセットにおける最先端の記号的回帰法を上回ることができる。 この方法は、メモリフットプリントを最小にし、単一のcpu上で数分で複雑な関数に適合し、gpuにスケールする。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Accelerated Neural Network Training with Rooted Logistic Objectives [13.400503928962756]
  我々は、少なくともロジスティック損失と同じくらい厳密なエムの厳密凸関数列を導出する。 その結果,根付き損失関数による学習はより早く収束し,性能が向上した。
  論文  参考訳（メタデータ） (2023-10-05T20:49:48Z)
• Neural Spline Search for Quantile Probabilistic Modeling [35.914279831992964]
  パラメトリックな仮定を伴わない観測データ分布を表現するために,非パラメトリックかつデータ駆動型手法であるニューラルスプラインサーチ(NSS)を提案する。 我々は,NASが,合成,実世界の回帰,時系列予測タスクにおいて,従来の手法よりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2023-01-12T07:45:28Z)
• Variational Hierarchical Mixtures for Probabilistic Learning of Inverse Dynamics [20.953728061894044]
  適切に校正された確率回帰モデルは、データセットが急速に成長し、タスクがより複雑になるにつれて、ロボットアプリケーションにおいて重要な学習要素である。 計算効率のよい表現と計算複雑性の正規化を両世界の利点と組み合わせた確率論的階層的モデリングパラダイムを考察する。 これらの表現を学習するための2つの効率的な変分推論手法を導出し、階層的無限局所回帰モデルの利点を強調する。
  論文  参考訳（メタデータ） (2022-11-02T13:54:07Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Deep Learning with Functional Inputs [0.0]
  本稿では,機能データをフィードフォワードニューラルネットワークに統合する手法を提案する。 この手法の副産物は、最適化プロセス中に可視化できる動的な機能的重みの集合である。 このモデルは、新しいデータの予測や真の機能的重みの回復など、多くの文脈でうまく機能することが示されている。
  論文  参考訳（メタデータ） (2020-06-17T01:23:00Z)
• BayesFlow: Learning complex stochastic models with invertible neural networks [3.1498833540989413]
  可逆ニューラルネットワークに基づく世界規模のベイズ推定手法を提案する。 BayesFlowは、観測されたデータを最大情報的な要約統計に埋め込むよう訓練された要約ネットワークを組み込んでいる。 本研究では, 人口動態, 疫学, 認知科学, 生態学の難易度モデルに対するベイズフローの有用性を実証する。
  論文  参考訳（メタデータ） (2020-03-13T13:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。