論文の概要: A Pseudo-Inverse for Nonlinear Operators
- arxiv url: http://arxiv.org/abs/2111.10755v1
- Date: Sun, 21 Nov 2021 07:15:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-23 15:28:01.182180
- Title: A Pseudo-Inverse for Nonlinear Operators
- Title(参考訳): 非線形作用素に対する擬逆数
- Authors: Eyal Gofer and Guy Gilboa
- Abstract要約: 非線形作用素に対する擬逆の基本的な性質を定義し,特徴付ける。
ノルム空間に対する擬逆は、作用素が行列であるときにムーア・ペンローズ逆となる。
解析式は、よく知られた非可逆な非線形作用素の擬逆数に対して与えられる。
- 参考スコア(独自算出の注目度): 8.947188600472256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Moore-Penrose inverse is widely used in physics, statistics and various
fields of engineering. Among other characteristics, it captures well the notion
of inversion of linear operators in the case of overcomplete data. In data
science, nonlinear operators are extensively used. In this paper we define and
characterize the fundamental properties of a pseudo-inverse for nonlinear
operators.
The concept is defined broadly. First for general sets, and then a refinement
for normed spaces. Our pseudo-inverse for normed spaces yields the
Moore-Penrose inverse when the operator is a matrix. We present conditions for
existence and uniqueness of a pseudo-inverse and establish theoretical results
investigating its properties, such as continuity, its value for operator
compositions and projection operators, and others. Analytic expressions are
given for the pseudo-inverse of some well-known, non-invertible, nonlinear
operators, such as hard- or soft-thresholding and ReLU. Finally, we analyze a
neural layer and discuss relations to wavelet thresholding and to regularized
loss minimization.
- Abstract(参考訳): ムーア・ペンローズ逆は物理学、統計学、工学の様々な分野で広く使われている。
その他の特徴として、超完全データの場合の線型作用素の反転の概念をよく捉えている。
データ科学では、非線形演算子は広く用いられる。
本稿では、非線形作用素に対する擬逆の基本的な性質を定義し、特徴付ける。
概念は広く定義されている。
最初は一般集合に対して、次にノルム空間の精製である。
ノルム空間に対する擬逆は、作用素が行列であるときにムーア・ペンローズ逆となる。
擬似逆数の存在条件と一意性を示し,その性質,すなわち連続性,作用素合成と射影作用素に対する値などについて理論的に考察する。
解析式は、ハードスレッディングやソフトスレッディングやReLUのようなよく知られた非可逆な非線形作用素の擬逆数に対して与えられる。
最後に,神経層を分析し,ウェーブレット閾値と正規化損失最小化との関係について論じる。
関連論文リスト
- General expansion of natural power of linear combination of Bosonic
operators in normal order [3.42658286826597]
ボゾン作用素の線型結合の自然パワーを正規順序で一般化する。
この結果は、量子力学における多体系の研究に重要である。
論文 参考訳(メタデータ) (2023-05-29T14:26:45Z) - Fast, Differentiable and Sparse Top-k: a Convex Analysis Perspective [21.6146047576295]
トップk演算子はスパースベクトルを返し、非ゼロ値は入力の k 最大の値に対応する。
我々はトップk作用素を、置換の凸包であるペルムタヘドロン上の線形プログラムとみなす。
私たちのフレームワークは既存のフレームワークよりもはるかに汎用的であり、例えば、大まかに値を選択するトップk演算子を表現できる。
論文 参考訳(メタデータ) (2023-02-02T21:32:13Z) - Learning linear operators: Infinite-dimensional regression as a
well-behaved non-compact inverse problem [0.3093890460224435]
経験的観測から2つのヒルベルト空間の間の線型作用素を$theta$で学習する問題を考察する。
我々は、このゴールを$theta$の逆問題として、そのフォワード演算子が一般に非コンパクトである望ましくない特徴で再定義できることを示します。
論文 参考訳(メタデータ) (2022-11-16T12:33:01Z) - Marginalized Operators for Off-policy Reinforcement Learning [53.37381513736073]
有理化作用素は、Retraceのような一般的な多段階作用素を特別な場合として厳密に一般化する。
余剰化演算子の推定値がスケーラブルな方法で計算可能であることを示し、また、余剰化重要度サンプリングの事前結果を特別な場合として一般化する。
論文 参考訳(メタデータ) (2022-03-30T09:59:59Z) - Generalized Optimization: A First Step Towards Category Theoretic
Learning Theory [1.52292571922932]
我々は、勾配勾配勾配の直接一般化やニュートン法の新しい一般化など、いくつかの最適化アルゴリズムを一般化する。
これらのアルゴリズムの変換不変性が保存されていることを示す。
また,内積様表現を用いて一般化降下の損失の変化を表現できることも示している。
論文 参考訳(メタデータ) (2021-09-20T15:19:06Z) - Convolutional Filtering and Neural Networks with Non Commutative
Algebras [153.20329791008095]
本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。
非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
論文 参考訳(メタデータ) (2021-08-23T04:22:58Z) - Neural Operator: Learning Maps Between Function Spaces [57.90284928158383]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳(メタデータ) (2021-08-19T03:56:49Z) - Analytic gradients in variational quantum algorithms: Algebraic
extensions of the parameter-shift rule to general unitary transformations [0.0]
一般固有スペクトルを持つジェネレータに対する期待値の線形結合として、勾配を定式化するためのパラメトリックシフトルールのいくつかの拡張を提案する。
我々のアプローチは正確であり、補助量子ビットは一切使用せず、代わりにジェネレータ固有スペクトル解析に依存している。
論文 参考訳(メタデータ) (2021-07-16T21:37:31Z) - Robust Differentiable SVD [117.35644933471401]
対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。
不安定性は互いに近い固有値の存在によって生じる。
SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
論文 参考訳(メタデータ) (2021-04-08T15:04:15Z) - A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。
直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。
この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文 参考訳(メタデータ) (2021-02-18T19:39:22Z) - Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。
本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文 参考訳(メタデータ) (2020-02-08T21:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。