論文の概要: Neural Injective Functions for Multisets, Measures and Graphs via a
Finite Witness Theorem
- arxiv url: http://arxiv.org/abs/2306.06529v2
- Date: Sun, 29 Oct 2023 09:30:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 21:27:31.704067
- Title: Neural Injective Functions for Multisets, Measures and Graphs via a
Finite Witness Theorem
- Title（参考訳）: 有限証人定理による多重集合、測度、グラフに対する神経注入関数
- Authors: Tal Amir, Steven J. Gortler, Ilai Avni, Ravina Ravina, Nadav Dym
- Abstract要約: インジェクティブ・マルチセット関数は、乗算やグラフにおける機械学習の理論において重要な役割を果たす。
しかし、理論上考慮される証明可能な射影的多重集合函数と実際に考慮されるものの間にはギャップが残っている。
インジェクティブ・マルチセット関数のモーメントをニューラル・マルチ関数とみなすことはできない。
- 参考スコア（独自算出の注目度）: 4.416503115535553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Injective multiset functions have a key role in the theoretical study of
machine learning on multisets and graphs. Yet, there remains a gap between the
provably injective multiset functions considered in theory, which typically
rely on polynomial moments, and the multiset functions used in practice, which
rely on $\textit{neural moments}$ $\unicode{x2014}$ whose injectivity on
multisets has not been studied to date.
In this paper, we bridge this gap by showing that moments of neural networks
do define injective multiset functions, provided that an analytic
non-polynomial activation is used. The number of moments required by our theory
is optimal essentially up to a multiplicative factor of two. To prove this
result, we state and prove a $\textit{finite witness theorem}$, which is of
independent interest.
As a corollary to our main theorem, we derive new approximation results for
functions on multisets and measures, and new separation results for graph
neural networks. We also provide two negative results: (1) moments of
piecewise-linear neural networks cannot be injective multiset functions; and
(2) even when moment-based multiset functions are injective, they can never be
bi-Lipschitz.
- Abstract（参考訳）: インジェクティブ・マルチセット関数は、マルチセットとグラフ上の機械学習の理論研究において重要な役割を果たす。
しかし、一般に多項式モーメントに依存する理論で検討されている有理な単射多重集合関数と、実際に使われる多重集合関数との間にはギャップがあり、それらは、その多重集合への単射性がこれまで研究されていない$\textit{neural moments}$$$\unicode{x2014}$に依存する。
本稿では,解析的非多項アクティベーションを用いることにより,ニューラルネットワークのモーメントが単射マルチセット関数を定義することを示すことで,このギャップを埋める。
我々の理論が要求するモーメントの数は、本質的には2の乗算係数まで最適である。
この結果を証明するために、我々は$\textit{finite witness theorem}$を宣言し、証明する。
主定理のまとめとして、多重集合と測度上の関数に対する新しい近似結果とグラフニューラルネットワークに対する新たな分離結果を導出する。
また,(1)区分線形ニューラルネットワークのモーメントは単射マルチセット関数であってはならない,(2)モーメントベースマルチセット関数が単射である場合でも、バイリプシッツではあり得ない,という2つの否定的な結果が得られた。
関連論文リスト
- Separation Power of Equivariant Neural Networks [11.906285279109477]
そこで我々は,同変ニューラルネットのポイントワイドアクティベーションを用いた分離パワーを理論的に検討する枠組みを提案する。
ReLU や sigmoid のような全ての非ポリノミカルな活性化は、表現性の観点から等価であることを示す。
論文 参考訳（メタデータ） (2024-06-13T09:52:44Z) - Multilinear Operator Networks [60.7432588386185]
ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。
マルチリニア演算子のみに依存するMONetを提案する。
論文 参考訳（メタデータ） (2024-01-31T16:52:19Z) - Structure of universal formulas [13.794391803767617]
本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。
活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。
任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
論文 参考訳（メタデータ） (2023-11-07T11:50:25Z) - Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-10T16:27:12Z) - Curvature-informed multi-task learning for graph networks [56.155331323304]
最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。
この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
論文 参考訳（メタデータ） (2022-08-02T18:18:41Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳（メタデータ） (2022-06-09T15:35:22Z) - Provable General Function Class Representation Learning in Multitask
Bandits and MDPs [58.624124220900306]
マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。
本研究では,解析結果を一般関数クラス表現に拡張する。
バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
論文 参考訳（メタデータ） (2022-05-31T11:36:42Z) - Constrained Monotonic Neural Networks [0.685316573653194]
金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。
モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。
我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
論文 参考訳（メタデータ） (2022-05-24T04:26:10Z) - Qualitative neural network approximation over R and C: Elementary proofs
for analytic and polynomial activation [0.0]
解析的アクティベーション関数を持つ深部ニューラルネットワークと浅部ニューラルネットワークのクラスで近似を証明した。
活性化関数を持つ大深度ネットワークの完全連結および残留ネットワークは,任意の幅要件下で近似可能であることを示す。
論文 参考訳（メタデータ） (2022-03-25T01:36:13Z) - Abelian Neural Networks [48.52497085313911]
まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。
連想対称の特徴づけを用いて、アベリア半群演算に拡張する。
固定単語埋め込み上でモデルをトレーニングし、元の word2vec よりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-02-24T11:52:21Z) - PDE constraints on smooth hierarchical functions computed by neural
networks [0.0]
ディープニューラルネットワーク理論における重要な問題は、表現性である。
フィードフォワードニューラルネットワークによって実装された実無限微分可能(滑らか)階層関数について検討する。
このようなPDE制約は、一旦適切な非特異性条件を伴って、考慮中の滑らかな関数をネットワークで表現できることを保証する。
論文 参考訳（メタデータ） (2020-05-18T16:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。