論文の概要: A provable control of sensitivity of neural networks through a direct parameterization of the overall bi-Lipschitzness
- arxiv url: http://arxiv.org/abs/2404.09821v1
- Date: Mon, 15 Apr 2024 14:21:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 21:57:24.079895
- Title: A provable control of sensitivity of neural networks through a direct parameterization of the overall bi-Lipschitzness
- Title（参考訳）: バイリプシッツ性の直接パラメータ化によるニューラルネットワークの感度の証明可能な制御
- Authors: Yuri Kinoshita, Taro Toyoizumi,
- Abstract要約: 本稿では,凸ニューラルネットワークとルジャンドル・フェンシェル双対性に基づくバイリプシッツ性のための新しいフレームワークを提案する。
コンベックスニューラルネットワークとルジャンドル・フェンシェル双対性に基づく,このような明瞭で厳密な制御を実現する。
- 参考スコア（独自算出の注目度）: 2.3020018305241337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While neural networks can enjoy an outstanding flexibility and exhibit unprecedented performance, the mechanism behind their behavior is still not well-understood. To tackle this fundamental challenge, researchers have tried to restrict and manipulate some of their properties in order to gain new insights and better control on them. Especially, throughout the past few years, the concept of \emph{bi-Lipschitzness} has been proved as a beneficial inductive bias in many areas. However, due to its complexity, the design and control of bi-Lipschitz architectures are falling behind, and a model that is precisely designed for bi-Lipschitzness realizing a direct and simple control of the constants along with solid theoretical analysis is lacking. In this work, we investigate and propose a novel framework for bi-Lipschitzness that can achieve such a clear and tight control based on convex neural networks and the Legendre-Fenchel duality. Its desirable properties are illustrated with concrete experiments. We also apply this framework to uncertainty estimation and monotone problem settings to illustrate its broad range of applications.
- Abstract（参考訳）: ニューラルネットワークは優れた柔軟性を享受し、前例のない性能を示すことができるが、その振る舞いの背後にあるメカニズムはまだ十分に理解されていない。
この根本的な課題に対処するために、研究者たちは、新しい洞察とより良いコントロールを得るために、いくつかの特性を制限し、操作しようと試みてきた。
特に、過去数年間の間、多くの領域において「emph{bi-Lipschitzness}」という概念は有益な帰納バイアスとして証明されてきた。
しかし、その複雑さのため、双Lipschitzアーキテクチャの設計と制御は遅れており、双Lipschitznessのために正確に設計されたモデルでは、固体理論的解析とともに定数の直接的かつ単純な制御が欠如している。
本研究では,凸型ニューラルネットワークとルジャンドル・フェンシェル双対性に基づく明瞭で厳密な制御を実現する,バイリプシッツ性のための新しいフレームワークについて検討し,提案する。
その望ましい性質は、具体的な実験で示される。
また、この枠組みを不確実性推定や単調な問題設定に適用し、その幅広い応用例を示す。
関連論文リスト
- A Lipschitz spaces view of infinitely wide shallow neural networks [3.0017241250121387]
我々は、パラメータ空間と双対対対の符号付き測度を用いて、浅いニューラルネットワークの平均場パラメトリゼーションを再考する。
コンパクト性は強いカントロビッチ=ルビンシュタインノルムで証明され、そうでない場合には好ましくない振る舞いを示すいくつかの例を示す。
論文 参考訳（メタデータ） (2024-10-18T16:41:37Z) - A General Framework of the Consistency for Large Neural Networks [0.0]
ニューラルネットワークの平均積分正方形誤差(MISE)を研究するための一般化正規化フレームワークを提案する。
筆者らのフレームワークから,MISE曲線は2つの可能な形状,すなわち2重降下形と単調下降形であることがわかった。
論文 参考訳（メタデータ） (2024-09-21T12:25:44Z) - The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。
理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
論文 参考訳（メタデータ） (2023-09-13T16:33:27Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳（メタデータ） (2023-03-06T14:31:09Z) - Some Fundamental Aspects about Lipschitz Continuity of Neural Networks [6.576051895863941]
リプシッツ連続性は任意の予測モデルの重要な機能特性である。
ニューラルネットワークのリプシッツ挙動を調べた。
リプシッツ下界の顕著な忠実さを示し、リプシッツ上界と下界の両方で顕著な二重発振傾向を同定し、ラベルノイズが関数の滑らかさと一般化に与える影響を説明する。
論文 参考訳（メタデータ） (2023-02-21T18:59:40Z) - On the Lipschitz Constant of Deep Networks and Double Descent [5.381801249240512]
ディープネットワークの一般化誤差に関する既存の境界は、入力変数への滑らかなあるいは有界な依存を仮定する。
二重降下中の深層ネットワークにおける経験的リプシッツ定数に関する実験的検討を行った。
論文 参考訳（メタデータ） (2023-01-28T23:22:49Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-06-08T04:09:13Z) - The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。
隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。
スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文 参考訳（メタデータ） (2022-02-13T07:12:02Z) - Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。
CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
論文 参考訳（メタデータ） (2021-10-25T07:12:53Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。
新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。
画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文 参考訳（メタデータ） (2020-10-05T01:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。