論文の概要: Universal Approximation Under Constraints is Possible with Transformers
- arxiv url: http://arxiv.org/abs/2110.03303v1
- Date: Thu, 7 Oct 2021 09:43:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-09 03:09:48.900006
- Title: Universal Approximation Under Constraints is Possible with Transformers
- Title（参考訳）: 制約下での普遍近似は変圧器で可能である
- Authors: Anastasis Kratsios, Behnoosh Zamanlooy, Tianlin Liu, Ivan Dokmani\'c
- Abstract要約: 多くの実践的な問題は、一連の制約を満たすために機械学習モデルを必要とします。
我々の主な成果はベルクの定理(1963年)の「ディープニューラルバージョン」である。
- 参考スコア（独自算出の注目度）: 33.41613996903392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many practical problems need the output of a machine learning model to
satisfy a set of constraints, $K$. Nevertheless, there is no known guarantee
that classical neural network architectures can exactly encode constraints
while simultaneously achieving universality. We provide a quantitative
constrained universal approximation theorem which guarantees that for any
non-convex compact set $K$ and any continuous function
$f:\mathbb{R}^n\rightarrow K$, there is a probabilistic transformer $\hat{F}$
whose randomized outputs all lie in $K$ and whose expected output uniformly
approximates $f$. Our second main result is a "deep neural version" of Berge's
Maximum Theorem (1963). The result guarantees that given an objective function
$L$, a constraint set $K$, and a family of soft constraint sets, there is a
probabilistic transformer $\hat{F}$ that approximately minimizes $L$ and whose
outputs belong to $K$; moreover, $\hat{F}$ approximately satisfies the soft
constraints. Our results imply the first universal approximation theorem for
classical transformers with exact convex constraint satisfaction. They also
yield that a chart-free universal approximation theorem for Riemannian
manifold-valued functions subject to suitable geodesically convex constraints.
- Abstract（参考訳）: 多くの実践的な問題は、一連の制約を満たすために機械学習モデルの出力を必要とします。
それでも、古典的なニューラルネットワークアーキテクチャが制約を正確にエンコードし、同時に普遍性を達成できるという保証はない。
我々は、任意の非凸コンパクト集合 $K$ と任意の連続函数 $f:\mathbb{R}^n\rightarrow K$ に対して、確率変換器 $\hat{F}$ が存在し、すべてのランダム化された出力が$K$ で、期待出力が$f$ に均一に近似されることを保証する量的制約付き普遍近似定理を提供する。
第2の主な結果は、ベルジュの最大定理(1963年)の「ディープニューラルバージョン」である。
その結果、対象関数$L$、制約セット$K$、およびソフト制約セットの族が与えられたとき、約$L$を最小化し、出力が$K$に属する確率変換器$\hat{F}$が存在し、さらに、$\hat{F}$はソフト制約をほぼ満足する。
この結果から, 厳密な凸制約を満たす古典的変圧器の普遍近似定理が導かれる。
また、リーマン多様体値関数に対するチャートフリーな普遍近似定理は、適当な測地線凸制約に従う。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Monge-Kantorovich Fitting With Sobolev Budgets [6.748324975906262]
近似の性能をMonge-Kantorovich $p$-costで定量化する。
次に、ソボレフ予算の制約の下で、機能的$mathscrJ_p(f)$を最小化するものとして問題を再構築する。
論文 参考訳（メタデータ） (2024-09-25T01:30:16Z) - On a Neural Implementation of Brenier's Polar Factorization [24.48716080522871]
1991年、ブレニエは正方行列の極分解を任意のベクトル場 $F:mathbbRdright mathbbRdarrow に PSD $times$ Unitary として分解する定理を証明した。
本稿では,偏波分解定理の実践的実装を提案し,機械学習における可能性を探る。
論文 参考訳（メタデータ） (2024-03-05T15:59:54Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Toward $L_\infty$-recovery of Nonlinear Functions: A Polynomial Sample
Complexity Bound for Gaussian Random Fields [35.76184529520015]
多くの機械学習アプリケーションは、入力ドメイン全体、すなわち$L_infty$-errorで最小ケースエラーの関数を学習する必要がある。
既存の理論的研究の多くは、$L$-errorのような平均エラーの回復を保証するだけである。
本稿では, 地絡関数のランダム性を生かして, 不合理性以外のいくつかの初期ステップについて述べる。
論文 参考訳（メタデータ） (2023-04-29T18:33:39Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳（メタデータ） (2023-02-03T03:19:14Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Towards Tight Communication Lower Bounds for Distributed Optimisation [30.134447658488057]
N$マシンは$sum_i = 1N f_i (x)$という関数の和を最小化することを目的としている。
我々の主な成果は、$N$マシンによって送信され受信される必要がある全ビット数に関する最初の完全に条件のない境界を提供する。
我々は、$Omega(Nd log d / Nvarepsilon)$ total bits をマシン間で通信し、$sum_i = 1N の最小値に対する加算 $epsilon$-approximation を見つける必要があることを示した。
論文 参考訳（メタデータ） (2020-10-16T08:10:02Z) - Maximizing Determinants under Matroid Constraints [69.25768526213689]
我々は、$det(sum_i in Sv_i v_i v_itop)$が最大になるような基底を$S$$$$M$とする問題を研究する。
この問題は、実験的なデザイン、商品の公平な割り当て、ネットワーク設計、機械学習など、さまざまな分野に現れている。
論文 参考訳（メタデータ） (2020-04-16T19:16:38Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。