論文の概要: Stochastic Neural Network Symmetrisation in Markov Categories

• arxiv url: http://arxiv.org/abs/2406.11814v1
• Date: Mon, 17 Jun 2024 17:54:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 12:54:18.286407
• Title: Stochastic Neural Network Symmetrisation in Markov Categories
• Title（参考訳）: マルコフカテゴリにおける確率的ニューラルネットワーク対称性
• Authors: Rob Cornish,
• Abstract要約: 我々は、群準同型に沿ってニューラルネットワークをシンメトリする問題を考察する。 シンメシエーションのためのフレキシブルで構成的で汎用的なフレームワークを得る。
• 参考スコア（独自算出の注目度）: 2.0668277618112203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of symmetrising a neural network along a group homomorphism: given a homomorphism $\varphi : H \to G$, we would like a procedure that converts $H$-equivariant neural networks into $G$-equivariant ones. We formulate this in terms of Markov categories, which allows us to consider neural networks whose outputs may be stochastic, but with measure-theoretic details abstracted away. We obtain a flexible, compositional, and generic framework for symmetrisation that relies on minimal assumptions about the structure of the group and the underlying neural network architecture. Our approach recovers existing methods for deterministic symmetrisation as special cases, and extends directly to provide a novel methodology for stochastic symmetrisation also. Beyond this, we believe our findings also demonstrate the utility of Markov categories for addressing problems in machine learning in a conceptual yet mathematically rigorous way.
• Abstract（参考訳）: 我々は、群準同型に沿ってニューラルネットワークを対称性付ける問題を考える: 準同型 $\varphi : H \to G$ が与えられた場合、$H$-同変ニューラルネットワークを$G$-同変ニューラルネットワークに変換する手順を希望する。 我々はこれをマルコフのカテゴリで定式化し、出力が確率的かもしれないが測度理論の詳細を抽象化したニューラルネットワークを考えることができる。 我々は、グループの構造と基盤となるニューラルネットワークアーキテクチャに関する最小限の仮定に依存する、フレキシブルで構成的で汎用的な対称性のフレームワークを得る。 提案手法は, 特殊事例として既存の決定論的対称性の手法を復元し, 確率的対称性の新たな方法論を提供するために, 直接的に拡張する。 これ以外にも、我々の発見は、概念的だが数学的に厳密な方法で機械学習における問題に対処するためのマルコフカテゴリの有用性を実証していると信じている。

関連論文リスト

• Group Crosscoders for Mechanistic Analysis of Symmetry [0.0]
  群クロスコーダは、ニューラルネットワークの対称的特徴を体系的に発見し、分析する。 グループクロスコーダは、ニューラルネットワークが対称性を表現する方法に関する体系的な洞察を与えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:47:01Z)
• SymDiff: Equivariant Diffusion via Stochastic Symmetrisation [28.614292092399563]
  本稿では,最近導入された対称性の枠組みを用いて同変拡散モデルを構築する手法を提案する。 SymDiffは、サンプリング時にデプロイされる学習データ拡張に似ており、軽量で、計算効率が高く、任意のオフザシェルフモデル上に実装が容易である。 生成モデルへの対称性の応用としてはこれが初めてであり、この領域におけるそのポテンシャルがより一般的に示唆されている。
  論文  参考訳（メタデータ） (2024-10-08T18:02:29Z)
• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
  我々は「緩和された同注入」という新しい概念を導入する。 我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。 対称性の破れの関連性は、様々な応用領域で議論される。
  論文  参考訳（メタデータ） (2023-12-14T15:06:48Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Equivariant neural networks for inverse problems [1.7942265700058986]
  群同変畳み込み演算は自然に学習された再構成法に組み込むことができることを示す。 近位作用素を群等価畳み込みニューラルネットワークとしてモデル化する学習反復手法を設計した。
  論文  参考訳（メタデータ） (2021-02-23T05:38:41Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Detecting Symmetries with Neural Networks [0.0]
  ニューラルネットワークの埋め込み層における構造を広範囲に活用する。 我々は、対称性が存在するかどうかを特定し、入力中の対称性の軌道を特定する。 この例では、グラフの観点で新しいデータ表現を示す。
  論文  参考訳（メタデータ） (2020-03-30T17:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。