論文の概要: Deep Neural Network Approximation of Invariant Functions through Dynamical Systems

• arxiv url: http://arxiv.org/abs/2208.08707v1
• Date: Thu, 18 Aug 2022 08:36:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 14:13:30.955020
• Title: Deep Neural Network Approximation of Invariant Functions through Dynamical Systems
• Title（参考訳）: 力学系による不変関数のディープニューラルネットワーク近似
• Authors: Qianxiao Li, Ting Lin, Zuowei Shen
• Abstract要約: 動的システムのフローマップを用いて入力指標の特定の置換に対して不変な関数の近似について検討する。 このような不変関数は、画像タスクを含む多くの研究された翻訳不変関数を含むが、科学や工学における新たな応用を見出す多くの置換不変関数も含む。
• 参考スコア（独自算出の注目度）: 15.716533830931766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the approximation of functions which are invariant with respect to certain permutations of the input indices using flow maps of dynamical systems. Such invariant functions includes the much studied translation-invariant ones involving image tasks, but also encompasses many permutation-invariant functions that finds emerging applications in science and engineering. We prove sufficient conditions for universal approximation of these functions by a controlled equivariant dynamical system, which can be viewed as a general abstraction of deep residual networks with symmetry constraints. These results not only imply the universal approximation for a variety of commonly employed neural network architectures for symmetric function approximation, but also guide the design of architectures with approximation guarantees for applications involving new symmetry requirements.
• Abstract（参考訳）: 動的システムのフローマップを用いて,入力インデックスのある種の置換に関して不変な関数の近似について検討する。 このような不変関数は、画像タスクを含む多くの研究された翻訳不変関数を含むが、科学や工学における新たな応用を見出す多くの置換不変関数も含む。 制御された同変力学系によりこれらの関数を普遍的に近似するための十分条件を証明し、対称性の制約のある深い残留ネットワークの一般的な抽象化と見なすことができる。 これらの結果は、対称関数近似のためによく使われるニューラルネットワークアーキテクチャの普遍的な近似だけでなく、新しい対称性要求を含むアプリケーションに対する近似保証を伴うアーキテクチャの設計も導く。

関連論文リスト

• Extension of Symmetrized Neural Network Operators with Fractional and Mixed Activation Functions [0.0]
  本稿では, 分数および混合活性化関数を組み込むことにより, 対称性を持つニューラルネットワーク演算子への新たな拡張を提案する。 本フレームワークでは、アクティベーション関数に分数指数を導入し、適応的な非線形近似を精度良く実現する。
  論文  参考訳（メタデータ） (2025-01-17T14:24:25Z)
• Neural Control Variates with Automatic Integration [49.91408797261987]
  本稿では,任意のニューラルネットワークアーキテクチャから学習可能なパラメトリック制御関数を構築するための新しい手法を提案する。 我々はこのネットワークを用いて積分器の反微分を近似する。 我々はウォーク・オン・スフィア・アルゴリズムを用いて偏微分方程式を解くために本手法を適用した。
  論文  参考訳（メタデータ） (2024-09-23T06:04:28Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• A Constructive Approach to Function Realization by Neural Stochastic Differential Equations [8.04975023021212]
  システム力学における構造的制約を導入し、そのようなシステムで実現可能な関数のクラスを特徴付ける。 これらのシステムは、ニューラル微分方程式(ニューラルSDE)、決定論的力学系、読み出しマップのカスケード相互接続として実装される。
  論文  参考訳（メタデータ） (2023-07-01T03:44:46Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Unifying O(3) Equivariant Neural Networks Design with Tensor-Network Formalism [12.008737454250463]
  本稿では,SU($2$)対称量子多体問題のシミュレーションに広く用いられている融合図を用いて,同変ニューラルネットワークのための新しい同変成分を設計する手法を提案する。 与えられた局所近傍の粒子に適用すると、結果として得られる成分は「融合ブロック」と呼ばれ、任意の連続同変関数の普遍近似として機能する。 我々のアプローチは、テンソルネットワークと同変ニューラルネットワークを組み合わせることで、より表現力のある同変ニューラルネットワークを設計するための有益な方向を示唆している。
  論文  参考訳（メタデータ） (2022-11-14T16:06:59Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• A Functional Perspective on Learning Symmetric Functions with Neural Networks [48.80300074254758]
  本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
  論文  参考訳（メタデータ） (2020-08-16T16:34:33Z)
• On Representing (Anti)Symmetric Functions [19.973896010415977]
  対称の場合の自然な近似と、反対称の場合の単一の一般化 Slater に基づく近似を導出する。 我々は、対称普遍性とフェルミネットの普遍性を意味する同変多層パーセプトロンの完全かつ明示的な証明を提供する。
  論文  参考訳（メタデータ） (2020-07-30T08:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。