論文の概要: Learning Symbolic Expressions via Gumbel-Max Equation Learner Network

• arxiv url: http://arxiv.org/abs/2012.06921v1
• Date: Sat, 12 Dec 2020 23:36:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 05:15:48.676130
• Title: Learning Symbolic Expressions via Gumbel-Max Equation Learner Network
• Title（参考訳）: Gumbel-Max方程式学習ネットワークによる記号表現の学習
• Authors: Gang Chen
• Abstract要約: 本稿では,シンボル回帰問題に着目し,Gumbel-Max Equation Learner(GMEQL)ネットワークと呼ばれる新しいNNアーキテクチャを開発する。 8つのベンチマークシンボリック回帰問題において、GMEQLは、シンボリック回帰のためのいくつかの最先端の技術を上回ることを実験的に示されています。
• 参考スコア（独自算出の注目度）: 5.247711598719703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although modern machine learning, in particular deep learning, has achieved outstanding success in scientific and engineering research, most of the neural networks (NNs) learned via these state-of-the-art techniques are black-box models. For a widespread success of machine learning in science and engineering, it is important to develop new NN architectures to effectively extract high-level mathematical knowledge from complex dataset. To meet this research demand, this paper focuses on the symbolic regression problem and develops a new NN architecture called the Gumbel-Max Equation Learner (GMEQL) network. Different from previously proposed Equation Learner (EQL) networks, GMEQL applies continuous relaxation to the network structure via the Gumbel-Max trick and introduces two types of trainable parameters: structure parameters and regression parameters. This paper also proposes a new two-stage training process and new techniques to train structure parameters in both the online and offline settings based on an elite repository. On 8 benchmark symbolic regression problems, GMEQL is experimentally shown to outperform several cutting-edge techniques for symbolic regression.
• Abstract（参考訳）: 現代の機械学習、特にディープラーニングは、科学的および工学的な研究で顕著な成功を収めているが、これらの最先端技術によって学習されたニューラルネットワーク(nns)のほとんどはブラックボックスモデルである。 科学と工学における機械学習の成功のためには、複雑なデータセットから高レベルの数学的知識を効果的に抽出する新しいNNアーキテクチャを開発することが重要である。 この研究の要求を満たすため,本論文は記号回帰問題に着目し,gumbel-max方程式学習ネットワーク (gmeql) と呼ばれる新しいnnアーキテクチャを開発した。 以前提案されたEQL(Equation Learner)ネットワークとは異なり、GMEQLはGumbel-Maxトリックを通じてネットワーク構造に継続的緩和を適用し、構造パラメータと回帰パラメータという2種類のトレーニング可能なパラメータを導入している。 本稿では,新しい2段階のトレーニングプロセスと,エリートリポジトリに基づくオンラインとオフラインの両設定における構造パラメータのトレーニング手法を提案する。 8つのベンチマークシンボリックレグレッション問題において、GMEQLは、シンボリックリグレッションのためのいくつかの最先端技術より優れていることを示した。

関連論文リスト

• Bilinear Sequence Regression: A Model for Learning from Long Sequences of High-dimensional Tokens [14.424050371971354]
  トークン列の最も基本的なモデルの一つとして,双線形シーケンス回帰(BSR)を導入,研究する。 トークン列のベクトル化や単純な線形回帰による学習に関して、最適な学習がもたらす改善を定量化する。
  論文  参考訳（メタデータ） (2024-10-24T15:44:03Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Homological Neural Networks: A Sparse Architecture for Multivariate Complexity [0.0]
  我々は,基礎となるデータのホモロジー構造上に構築された,疎密な高階グラフィカルアーキテクチャを特徴とする,新しいディープニューラルネットワークユニットを開発する。 その結果、この新しい設計の利点は、ごく少数のパラメータだけで最先端の機械学習モデルとディープラーニングモデルの結果を結び付けるか、克服することができる。
  論文  参考訳（メタデータ） (2023-06-27T09:46:16Z)
• Differentiable Multi-Fidelity Fusion: Efficient Learning of Physics Simulations with Neural Architecture Search and Transfer Learning [1.0024450637989093]
  ニューラル・アーキテクチャ・サーチ(NAS)を利用して、異なる問題に対する適切なモデル・アーキテクチャを自動的に探索する微分可能なmf(DMF)モデルを提案する。 DMFは、少数の高忠実度トレーニングサンプルで物理シミュレーションを効率よく学習することができ、最先端の手法よりも優れたマージンを持つ。
  論文  参考訳（メタデータ） (2023-06-12T07:18:13Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• Convolution, aggregation and attention based deep neural networks for accelerating simulations in mechanics [1.0154623955833253]
  固体の変形を効率的に学習するための3種類のニューラルネットワークアーキテクチャを実証する。 最初の2つは、最近提案されたCNN U-NETとMagNETフレームワークに基づいており、メッシュベースのデータで学習する上で有望なパフォーマンスを示している。 第3のアーキテクチャであるPerceiver IOは、注目に基づくニューラルネットワークのファミリに属する、非常に最近のアーキテクチャである。
  論文  参考訳（メタデータ） (2022-12-01T13:10:56Z)
• GradMax: Growing Neural Networks using Gradient Information [22.986063120002353]
  本稿では,学習中に学習内容に影響を与えることなく新たなニューロンを付加し,トレーニングのダイナミクスを改良する手法を提案する。 この手法をGradMax(GradMax)と呼び、様々な視覚タスクやアーキテクチャにおいてその効果を実証する。
  論文  参考訳（メタデータ） (2022-01-13T18:30:18Z)
• Constructing Neural Network-Based Models for Simulating Dynamical Systems [59.0861954179401]
  データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。 本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。 基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
  論文  参考訳（メタデータ） (2021-11-02T10:51:42Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。