論文の概要: Learning Invariant Weights in Neural Networks

• arxiv url: http://arxiv.org/abs/2202.12439v1
• Date: Fri, 25 Feb 2022 00:17:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-28 14:11:33.964188
• Title: Learning Invariant Weights in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける不変ウェイト学習
• Authors: Tycho F.A. van der Ouderaa and Mark van der Wilk
• Abstract要約: 機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。 本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
• 参考スコア（独自算出の注目度）: 16.127299898156203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Assumptions about invariances or symmetries in data can significantly increase the predictive power of statistical models. Many commonly used models in machine learning are constraint to respect certain symmetries in the data, such as translation equivariance in convolutional neural networks, and incorporation of new symmetry types is actively being studied. Yet, efforts to learn such invariances from the data itself remains an open research problem. It has been shown that marginal likelihood offers a principled way to learn invariances in Gaussian Processes. We propose a weight-space equivalent to this approach, by minimizing a lower bound on the marginal likelihood to learn invariances in neural networks resulting in naturally higher performing models.
• Abstract（参考訳）: データの不変性や対称性に関する仮定は、統計モデルの予測能力を大幅に向上させることができる。 機械学習においてよく使われるモデルの多くは、畳み込みニューラルネットワークの変換等、データの特定の対称性を尊重することを制約しており、新しい対称性型の導入が活発に研究されている。 しかし、データ自体からそのような不変性を学ぶ努力は、依然としてオープンな研究課題である。 限界確率はガウス過程における不変性を学ぶための原理的な方法をもたらすことが示されている。 本稿では,このアプローチに等価な重み空間を提案し,限界確率の下限を最小化し,ニューラルネットワークの不変性を学習することにより,自然に高いパフォーマンスモデルを実現する。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs [5.141137421503899]
  ステアブル畳み込みニューラルネットワーク(SCNN)は、幾何学的対称性をモデル化することによってタスク性能を向上させる。 しかし、未知あるいは様々な対称性は、過剰に制約された重量と性能を低下させる可能性がある。 本稿では,SCNNの等価度を学習するための確率的手法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T10:45:19Z)
• MMGP: a Mesh Morphing Gaussian Process-based machine learning method for regression of physical problems under non-parameterized geometrical variability [0.30693357740321775]
  本稿では,グラフニューラルネットワークに依存しない機械学習手法を提案する。 提案手法は, 明示的な形状パラメータ化を必要とせずに, 大きなメッシュを容易に扱うことができる。
  論文  参考訳（メタデータ） (2023-05-22T09:50:15Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Bayesian neural networks and dimensionality reduction [4.039245878626346]
  そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。 VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。 潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
  論文  参考訳（メタデータ） (2020-08-18T17:11:07Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• 'Place-cell' emergence and learning of invariant data with restricted Boltzmann machines: breaking and dynamical restoration of continuous symmetries in the weight space [0.0]
  本稿では,表現学習のためのニューラルネットワークパラダイムである拘束ボルツマンマシン(RBM)の学習力学について検討する。 ネットワーク重みのランダムな構成から学習が進むにつれて、対称性を破る現象の存在が示される。 この対称性を破る現象は、トレーニングに利用できるデータの量がいくつかの臨界値を超える場合にのみ起こる。
  論文  参考訳（メタデータ） (2019-12-30T14:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。