論文の概要: Invariant polynomials and machine learning

• arxiv url: http://arxiv.org/abs/2104.12733v1
• Date: Mon, 26 Apr 2021 17:24:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 17:37:23.094315
• Title: Invariant polynomials and machine learning
• Title（参考訳）: 不変多項式と機械学習
• Authors: Ward Haddadin
• Abstract要約: 機械学習における不変量の適用について述べる。 粒子モーメントにおけるローレンツ不変量と置換不変量の2種類の生成器、最小代数生成器と広中分解を用いる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an application of invariant polynomials in machine learning. Using the methods developed in previous work, we obtain two types of generators of the Lorentz- and permutation-invariant polynomials in particle momenta; minimal algebra generators and Hironaka decompositions. We discuss and prove some approximation theorems to make use of these invariant generators in machine learning algorithms in general and in neural networks specifically. By implementing these generators in neural networks applied to regression tasks, we test the improvements in performance under a wide range of hyperparameter choices and find a reduction of the loss on training data and a significant reduction of the loss on validation data. For a different approach on quantifying the performance of these neural networks, we treat the problem from a Bayesian inference perspective and employ nested sampling techniques to perform model comparison. Beyond a certain network size, we find that networks utilising Hironaka decompositions perform the best.
• Abstract（参考訳）: 機械学習における不変多項式の適用について述べる。 先行研究で開発された手法を用いて, 粒子モーメントにおけるローレンツ多項式と置換不変多項式の2種類の生成器, 最小代数生成器と広中分解を求める。 我々は、これらの不変なジェネレータを一般の機械学習アルゴリズム、特にニューラルネットワークで利用するための近似定理を議論し、証明する。 回帰タスクに適用したニューラルネットワークにこれらのジェネレータを実装することにより、幅広いパラメータ選択による性能向上を検証し、トレーニングデータにおける損失の低減と、検証データにおける損失の大幅な削減を見出した。 これらのニューラルネットワークの性能を定量化するための別のアプローチとして,ベイズ推定の観点からこの問題を扱い,ネストサンプリング手法を用いてモデル比較を行う。 ネットワークサイズ以外にも,広中分解を利用したネットワークが最適であることがわかった。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Bayesian polynomial neural networks and polynomial neural ordinary differential equations [4.550705124365277]
  ニューラルネットワークとニューラル常微分方程式(ODE)によるシンボリック回帰は、多くの科学・工学問題の方程式回復のための強力なアプローチである。 これらの手法はモデルパラメータの点推定を提供しており、現在ノイズの多いデータに対応できない。 この課題は、ラプラス近似、マルコフ連鎖モンテカルロサンプリング法、ベイズ変分推定法の開発と検証によって解決される。
  論文  参考訳（メタデータ） (2023-08-17T05:42:29Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
  本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。 実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
  論文  参考訳（メタデータ） (2022-06-23T12:06:54Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Towards a mathematical framework to inform Neural Network modelling via Polynomial Regression [0.0]
  特定の条件が局所的に満たされた場合、ほぼ同一の予測が可能であることが示されている。 生成したデータから学習すると,そのデータを局所的に近似的に生成する。
  論文  参考訳（メタデータ） (2021-02-07T17:56:16Z)
• Unsupervised Learning of Solutions to Differential Equations with Generative Adversarial Networks [1.1470070927586016]
  本研究では,教師なしニューラルネットワークを用いた微分方程式の解法を開発した。 差分方程式GAN (DEQGAN) と呼ばれる手法は, 平均二乗誤差を桁違いに低減できることを示す。
  論文  参考訳（メタデータ） (2020-07-21T23:36:36Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Exponentially improved detection and correction of errors in experimental systems using neural networks [0.0]
  実験装置の実証モデルを作成するために,2つの機械学習アルゴリズムを導入する。 これにより、一般化最適化タスクに必要な測定回数を指数関数的に削減することができる。 イオントラップ内の成層電場の検出と補償を例に,両アルゴリズムを実証する。
  論文  参考訳（メタデータ） (2020-05-18T22:42:11Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• The committee machine: Computational to statistical gaps in learning a two-layers neural network [29.86621613621785]
  統計物理学からのヒューリスティックツールは、教師-学生シナリオにおける位相遷移の発見と最適学習および一般化誤差の計算に使われてきた。 本稿では, パラメータ集合の時間的最適学習を可能にする, AMPアルゴリズムのバージョンを提案する。 AMPアルゴリズムが実現に失敗する一方で,低一般化誤差が情報理論的に達成可能であるレジームがあることが分かり,これらのケースに効率的なアルゴリズムが存在しないことを強く示唆する。
  論文  参考訳（メタデータ） (2018-06-14T10:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。