論文の概要: On the Lipschitz Continuity of Set Aggregation Functions and Neural Networks for Sets

• arxiv url: http://arxiv.org/abs/2505.24403v1
• Date: Fri, 30 May 2025 09:34:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.881193
• Title: On the Lipschitz Continuity of Set Aggregation Functions and Neural Networks for Sets
• Title（参考訳）: 集合集合関数と集合に対するニューラルネットワークのリプシッツ連続性について
• Authors: Giannis Nikolentzos, Konstantinos Skianis,
• Abstract要約: ニューラルネットワークのリプシッツ定数は、ネットワークのいくつかの重要な性質に接続されている。 これまでの研究は主に多層パーセプトロンと畳み込みニューラルネットワークのリプシッツ定数の推定に重点を置いてきた。
• 参考スコア（独自算出の注目度）: 8.960925792286941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Lipschitz constant of a neural network is connected to several important properties of the network such as its robustness and generalization. It is thus useful in many settings to estimate the Lipschitz constant of a model. Prior work has focused mainly on estimating the Lipschitz constant of multi-layer perceptrons and convolutional neural networks. Here we focus on data modeled as sets or multisets of vectors and on neural networks that can handle such data. These models typically apply some permutation invariant aggregation function, such as the sum, mean or max operator, to the input multisets to produce a single vector for each input sample. In this paper, we investigate whether these aggregation functions are Lipschitz continuous with respect to three distance functions for unordered multisets, and we compute their Lipschitz constants. In the general case, we find that each aggregation function is Lipschitz continuous with respect to only one of the three distance functions. Then, we build on these results to derive upper bounds on the Lipschitz constant of neural networks that can process multisets of vectors, while we also study their stability to perturbations and generalization under distribution shifts. To empirically verify our theoretical analysis, we conduct a series of experiments on datasets from different domains.
• Abstract（参考訳）: ニューラルネットワークのリプシッツ定数は、その堅牢性や一般化など、ネットワークの重要な性質と結びついている。 したがって、多くの設定においてモデルのリプシッツ定数を推定するのに有用である。 これまでの研究は主に多層パーセプトロンと畳み込みニューラルネットワークのリプシッツ定数の推定に重点を置いてきた。 ここでは、ベクトルの集合や多重集合としてモデル化されたデータと、そのようなデータを扱うことができるニューラルネットワークに焦点を当てる。 これらのモデルは通常、入力マルチセットに対して和、平均、最大演算子などの置換不変集約関数を適用して、各入力サンプルに対して単一のベクトルを生成する。 本稿では,これらのアグリゲーション関数が非順序多重集合の3つの距離関数に対してリプシッツ連続であるかどうかを考察し,それらのリプシッツ定数を計算する。 一般の場合、各アグリゲーション関数は3つの距離関数のうちの1つだけに関してリプシッツ連続であることが分かる。 次に、これらの結果に基づいて、ベクトルの多重集合を処理できるニューラルネットワークのリプシッツ定数の上界を導出するとともに、分布シフトの下での摂動や一般化に対する安定性についても検討する。 理論的解析を実証的に検証するために、異なる領域のデータセットについて一連の実験を行った。

関連論文リスト

• A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
  任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。 特に、文献でよく見られるように、損失関数の有界性を必要としない。 回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
  論文  参考訳（メタデータ） (2025-03-03T23:34:12Z)
• Some Fundamental Aspects about Lipschitz Continuity of Neural Networks [6.576051895863941]
  リプシッツ連続性は任意の予測モデルの重要な機能特性である。 ニューラルネットワークのリプシッツ挙動を調べた。 リプシッツ下界の顕著な忠実さを示し、リプシッツ上界と下界の両方で顕著な二重発振傾向を同定し、ラベルノイズが関数の滑らかさと一般化に与える影響を説明する。
  論文  参考訳（メタデータ） (2023-02-21T18:59:40Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• LipBaB: Computing exact Lipschitz constant of ReLU networks [0.0]
  LipBaBは、ディープニューラルネットワークのローカルLipschitz定数の認定境界を計算するためのフレームワークです。 このアルゴリズムは任意の p-ノルムに対するリプシッツ定数の正確な計算を提供することができる。
  論文  参考訳（メタデータ） (2021-05-12T08:06:11Z)
• Analytical bounds on the local Lipschitz constants of ReLU networks [0.0]
  我々は、ReLU, affine-ReLU, max pooling functionに対してリプシッツ定数と境界を導出した。 提案手法は,AlexNet や VGG-16 などの大規模ネットワークに対する最小対向摂動における最大の境界を生成する。
  論文  参考訳（メタデータ） (2021-04-29T21:57:47Z)
• Analytical bounds on the local Lipschitz constants of affine-ReLU functions [0.0]
  Affine-ReLU関数の局所リプシッツ定数の上界を数学的に決定する。 ネットワーク全体のバウンダリを決定するために、これらのバウンダリをどのように組み合わせることができるかを示す。 我々は、この結果をAlexNetに適用し、MNISTとCIFAR-10データセットに基づくいくつかの小さなネットワークを例示する。
  論文  参考訳（メタデータ） (2020-08-14T00:23:21Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Approximating Lipschitz continuous functions with GroupSort neural networks [3.416170716497814]
  近年の敵攻撃とワッサーシュタインGANはリプシッツ定数が制限されたニューラルネットワークの使用を提唱している。 特に、これらのネットワークが任意のリプシッツ連続部分線型関数をどのように表現できるかを示す。 また、それらがリプシッツ連続函数の近似に適しており、深さと大きさの両方の上限を示すことを証明する。
  論文  参考訳（メタデータ） (2020-06-09T13:37:43Z)
• Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
  LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。 ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。 ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
  論文  参考訳（メタデータ） (2020-04-18T18:55:02Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。