論文の概要: A Functional Perspective on Learning Symmetric Functions with Neural Networks

• arxiv url: http://arxiv.org/abs/2008.06952v4
• Date: Mon, 10 Oct 2022 14:55:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 09:07:32.839907
• Title: A Functional Perspective on Learning Symmetric Functions with Neural Networks
• Title（参考訳）: ニューラルネットワークを用いた対称関数の学習に関する機能的展望
• Authors: Aaron Zweig, Joan Bruna
• Abstract要約: 本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
• 参考スコア（独自算出の注目度）: 48.80300074254758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symmetric functions, which take as input an unordered, fixed-size set, are known to be universally representable by neural networks that enforce permutation invariance. These architectures only give guarantees for fixed input sizes, yet in many practical applications, including point clouds and particle physics, a relevant notion of generalization should include varying the input size. In this work we treat symmetric functions (of any size) as functions over probability measures, and study the learning and representation of neural networks defined on measures. By focusing on shallow architectures, we establish approximation and generalization bounds under different choices of regularization (such as RKHS and variation norms), that capture a hierarchy of functional spaces with increasing degree of non-linear learning. The resulting models can be learned efficiently and enjoy generalization guarantees that extend across input sizes, as we verify empirically.
• Abstract（参考訳）: 非順序で固定サイズの集合を入力として取る対称関数は、置換不変性を強制するニューラルネットワークによって普遍的に表現できることが知られている。 これらのアーキテクチャは、固定された入力サイズのみを保証するが、点雲や粒子物理学を含む多くの実用的な応用では、一般化の概念は入力サイズの変化を含むべきである。 本研究では、任意の大きさの対称関数を確率測度上の関数として扱い、測度上で定義されたニューラルネットワークの学習と表現を研究する。 浅いアーキテクチャに焦点をあてることで、正規化の異なる選択(RKHSや変動ノルムなど)の下で近似と一般化のバウンダリを確立し、非線型学習の度合いを増す関数空間の階層を捉える。 結果のモデルは効率的に学習でき、実験的に検証するように、入力サイズにまたがる一般化の保証を享受できる。

関連論文リスト

• Deep Neural Networks are Adaptive to Function Regularity and Data Distribution in Approximation and Estimation [8.284464143581546]
  深層ニューラルネットワークが、異なる位置とスケールにわたる関数の異なる規則性にどのように適応するかを研究する。 この結果から,深部ニューラルネットワークは関数の正則性や不均一なデータ分布に適応していることが示唆された。
  論文  参考訳（メタデータ） (2024-06-08T02:01:50Z)
• Geometry-induced Implicit Regularization in Deep ReLU Neural Networks [0.0]
  暗黙の正則化現象は、まだよく理解されていないが、最適化中に起こる。 パラメータの異なる出力集合の幾何について検討する。 バッチ関数次元は隠蔽層内の活性化パターンによってほぼ確実に決定されることを示す。
  論文  参考訳（メタデータ） (2024-02-13T07:49:57Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Any-dimensional equivariant neural networks [1.4469725791865984]
  従来の教師付き学習は、関数を一定次元の入出力ペアの集合に適合させることで未知のマッピングを学習することを目的としている。 我々は、代数トポロジで新たに発見された現象である表現安定性を利用して、一定次元のデータでトレーニングできる同変ニューラルネットワークを定義する。
  論文  参考訳（メタデータ） (2023-06-10T00:55:38Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Deep Neural Network Approximation of Invariant Functions through Dynamical Systems [15.716533830931766]
  動的システムのフローマップを用いて入力指標の特定の置換に対して不変な関数の近似について検討する。 このような不変関数は、画像タスクを含む多くの研究された翻訳不変関数を含むが、科学や工学における新たな応用を見出す多くの置換不変関数も含む。
  論文  参考訳（メタデータ） (2022-08-18T08:36:16Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Non-Euclidean Universal Approximation [4.18804572788063]
  ニューラルネットワークの入力層と出力層の修正は、多くの場合、最も実践的な学習タスクの特異性を満たすために必要である。 アーキテクチャの連続関数をコンパクトな上で一様に近似する能力を保った特徴写像と読み出し写像を記述した一般的な条件を示す。
  論文  参考訳（メタデータ） (2020-06-03T15:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。