論文の概要: Neural Injective Functions for Multisets, Measures and Graphs via a Finite Witness Theorem

• arxiv url: http://arxiv.org/abs/2306.06529v1
• Date: Sat, 10 Jun 2023 21:55:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 18:24:48.465469
• Title: Neural Injective Functions for Multisets, Measures and Graphs via a Finite Witness Theorem
• Title（参考訳）: 有限証人定理による多重集合、測度、グラフに対する神経注入関数
• Authors: Tal Amir, Steven J. Gortler, Ilai Avni, Ravina Ravina, Nadav Dym
• Abstract要約: ニューラルネットワークのモーメントは、解析的非ポリノミカルアクティベーションが使用される場合、射影的マルチセット関数を定義する。 マルチセットと測度上の関数に対する新しい近似結果とグラフニューラルネットワークに対する新たな分離結果を得る。
• 参考スコア（独自算出の注目度）: 8.059701534615067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Injective multiset functions have a key role in the theoretical study of machine learning on multisets and graphs. Yet, there remains a gap between the provably injective multiset functions considered in theory, which typically rely on polynomial moments, and the multiset functions used in practice which typically rely on $\textit{neural moments}$, whose injectivity on multisets has not been studied to date. In this paper we bridge this gap by showing that moments of neural network do define an injective multiset function, provided that an analytic non-polynomial activation is used. The number of moments required by our theory is optimal up to a multiplicative factor of two. To prove this result, we state and prove a $\textit{finite witness theorem}$, which is of independent interest. As a corollary to our main theorem, we derive new approximation results for functions on multisets and measures, and new separation results for graph neural networks. We also provide two negative results: We show that (1) moments of piecewise-linear neural networks do not lead to injective multiset functions, and (2) even when moment-based multiset functions are injective, they will never be bi-Lipschitz.
• Abstract（参考訳）: インジェクティブ・マルチセット関数は、マルチセットとグラフ上の機械学習の理論研究において重要な役割を果たす。 しかし、一般に多項式モーメントに依存する理論で検討されている有理な単射多重集合関数と、通常$\textit{neural moments}$に依存する実使用の多重集合関数との間にはギャップが残っている。 本稿では,解析的非多項アクティベーションを用いることにより,ニューラルネットワークのモーメントがインジェクション的マルチセット関数を定義することを示すことで,このギャップを橋渡しする。 我々の理論が要求するモーメントの数は2の乗算係数まで最適である。 この結果を証明するために、我々は$\textit{finite witness theorem}$を宣言し、証明する。 主定理のまとめとして、多重集合と測度上の関数に対する新しい近似結果とグラフニューラルネットワークに対する新たな分離結果を導出する。 また,(1)区分線形ニューラルネットワークのモーメントは単射マルチセット関数につながりず,(2)モーメントベースマルチセット関数が単射である場合でも、バイリプシッツとはならないことを示した。

関連論文リスト

• Separation Power of Equivariant Neural Networks [11.906285279109477]
  そこで我々は,同変ニューラルネットのポイントワイドアクティベーションを用いた分離パワーを理論的に検討する枠組みを提案する。 ReLU や sigmoid のような全ての非ポリノミカルな活性化は、表現性の観点から等価であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T09:52:44Z)
• Multilinear Operator Networks [60.7432588386185]
  ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。 マルチリニア演算子のみに依存するMONetを提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:52:19Z)
• Structure of universal formulas [13.794391803767617]
  本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。 活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。 任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
  論文  参考訳（メタデータ） (2023-11-07T11:50:25Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Provable General Function Class Representation Learning in Multitask Bandits and MDPs [58.624124220900306]
  マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。 本研究では,解析結果を一般関数クラス表現に拡張する。 バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
  論文  参考訳（メタデータ） (2022-05-31T11:36:42Z)
• Constrained Monotonic Neural Networks [0.685316573653194]
  金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。 モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。 我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
  論文  参考訳（メタデータ） (2022-05-24T04:26:10Z)
• Qualitative neural network approximation over R and C: Elementary proofs for analytic and polynomial activation [0.0]
  解析的アクティベーション関数を持つ深部ニューラルネットワークと浅部ニューラルネットワークのクラスで近似を証明した。 活性化関数を持つ大深度ネットワークの完全連結および残留ネットワークは,任意の幅要件下で近似可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-25T01:36:13Z)
• Abelian Neural Networks [48.52497085313911]
  まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。 連想対称の特徴づけを用いて、アベリア半群演算に拡張する。 固定単語埋め込み上でモデルをトレーニングし、元の word2vec よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-02-24T11:52:21Z)
• PDE constraints on smooth hierarchical functions computed by neural networks [0.0]
  ディープニューラルネットワーク理論における重要な問題は、表現性である。 フィードフォワードニューラルネットワークによって実装された実無限微分可能(滑らか)階層関数について検討する。 このようなPDE制約は、一旦適切な非特異性条件を伴って、考慮中の滑らかな関数をネットワークで表現できることを保証する。
  論文  参考訳（メタデータ） (2020-05-18T16:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。