論文の概要: Theoretical Foundations for Pseudo-Inversion of Nonlinear Operators
- arxiv url: http://arxiv.org/abs/2111.10755v2
- Date: Wed, 17 May 2023 06:15:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 21:24:53.496444
- Title: Theoretical Foundations for Pseudo-Inversion of Nonlinear Operators
- Title(参考訳): 非線形作用素の擬逆変換の理論的基礎
- Authors: Eyal Gofer and Guy Gilboa
- Abstract要約: 本稿では, 非線形演算子に対する擬逆(PI)の基本特性を特徴付ける。
ノルム空間のPIは、作用素が行列であるときにムーア・ペンローズ逆数が得られる。
- 参考スコア(独自算出の注目度): 11.015829369092081
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Moore-Penrose inverse is widely used in physics, statistics, and various
fields of engineering. It captures well the notion of inversion of linear
operators in the case of overcomplete data. In data science, nonlinear
operators are extensively used. In this paper we characterize the fundamental
properties of a pseudo-inverse (PI) for nonlinear operators.
The concept is defined broadly. First for general sets, and then a refinement
for normed spaces. The PI for normed spaces yields the Moore-Penrose inverse
when the operator is a matrix. We present conditions for existence and
uniqueness of a PI and establish theoretical results investigating its
properties, such as continuity, its value for operator compositions and
projection operators, and others. Analytic expressions are given for the PI of
some well-known, non-invertible, nonlinear operators, such as hard- or
soft-thresholding and ReLU. Finally, we analyze a neural layer and discuss
relations to wavelet thresholding.
- Abstract(参考訳): ムーア・ペンローズ逆は物理学、統計学、工学の様々な分野で広く使われている。
これは、過剰完全データの場合の線型作用素の反転の概念をうまく捉えている。
データ科学では、非線形演算子は広く用いられる。
本稿では,非線形作用素に対する擬逆(PI)の基本特性を特徴付ける。
概念は広く定義されている。
最初は一般集合に対して、次にノルム空間の精製である。
ノルム空間のPIは、作用素が行列であるときにムーア・ペンローズ逆数が得られる。
PIの存在と特異性の条件を示し、連続性や作用素合成や射影作用素の値など、その性質を研究する理論的結果を確立する。
解析式は、ハードスレッディングやソフトスレッディングやReLUのようなよく知られた非可逆な非線形作用素のPIに対して与えられる。
最後に,神経層を分析し,ウェーブレット閾値との関係について考察する。
関連論文リスト
- General expansion of natural power of linear combination of Bosonic
operators in normal order [3.42658286826597]
ボゾン作用素の線型結合の自然パワーを正規順序で一般化する。
この結果は、量子力学における多体系の研究に重要である。
論文 参考訳(メタデータ) (2023-05-29T14:26:45Z) - Fast, Differentiable and Sparse Top-k: a Convex Analysis Perspective [21.6146047576295]
トップk演算子はスパースベクトルを返し、非ゼロ値は入力の k 最大の値に対応する。
我々はトップk作用素を、置換の凸包であるペルムタヘドロン上の線形プログラムとみなす。
私たちのフレームワークは既存のフレームワークよりもはるかに汎用的であり、例えば、大まかに値を選択するトップk演算子を表現できる。
論文 参考訳(メタデータ) (2023-02-02T21:32:13Z) - Learning linear operators: Infinite-dimensional regression as a
well-behaved non-compact inverse problem [0.3093890460224435]
経験的観測から2つのヒルベルト空間の間の線型作用素を$theta$で学習する問題を考察する。
我々は、このゴールを$theta$の逆問題として、そのフォワード演算子が一般に非コンパクトである望ましくない特徴で再定義できることを示します。
論文 参考訳(メタデータ) (2022-11-16T12:33:01Z) - Marginalized Operators for Off-policy Reinforcement Learning [53.37381513736073]
有理化作用素は、Retraceのような一般的な多段階作用素を特別な場合として厳密に一般化する。
余剰化演算子の推定値がスケーラブルな方法で計算可能であることを示し、また、余剰化重要度サンプリングの事前結果を特別な場合として一般化する。
論文 参考訳(メタデータ) (2022-03-30T09:59:59Z) - Generalized Optimization: A First Step Towards Category Theoretic
Learning Theory [1.52292571922932]
我々は、勾配勾配勾配の直接一般化やニュートン法の新しい一般化など、いくつかの最適化アルゴリズムを一般化する。
これらのアルゴリズムの変換不変性が保存されていることを示す。
また,内積様表現を用いて一般化降下の損失の変化を表現できることも示している。
論文 参考訳(メタデータ) (2021-09-20T15:19:06Z) - Convolutional Filtering and Neural Networks with Non Commutative
Algebras [153.20329791008095]
本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。
非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
論文 参考訳(メタデータ) (2021-08-23T04:22:58Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳(メタデータ) (2021-08-19T03:56:49Z) - Analytic gradients in variational quantum algorithms: Algebraic
extensions of the parameter-shift rule to general unitary transformations [0.0]
一般固有スペクトルを持つジェネレータに対する期待値の線形結合として、勾配を定式化するためのパラメトリックシフトルールのいくつかの拡張を提案する。
我々のアプローチは正確であり、補助量子ビットは一切使用せず、代わりにジェネレータ固有スペクトル解析に依存している。
論文 参考訳(メタデータ) (2021-07-16T21:37:31Z) - Robust Differentiable SVD [117.35644933471401]
対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。
不安定性は互いに近い固有値の存在によって生じる。
SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
論文 参考訳(メタデータ) (2021-04-08T15:04:15Z) - A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。
直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。
この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文 参考訳(メタデータ) (2021-02-18T19:39:22Z) - Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。
本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文 参考訳(メタデータ) (2020-02-08T21:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。