論文の概要: The Expected Jacobian Outerproduct: Theory and Empirics
- arxiv url: http://arxiv.org/abs/2006.03550v1
- Date: Fri, 5 Jun 2020 16:42:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 02:59:28.796960
- Title: The Expected Jacobian Outerproduct: Theory and Empirics
- Title（参考訳）: 予想ジャコビアン外積:理論と経験論
- Authors: Shubhendu Trivedi, J. Wang
- Abstract要約: 本研究では, 実世界の非パラメトリック分類タスクを改善するために, 期待されるジャコビアン外積 (EJOP) を指標として用いることができることを示す。
また、推定されたEJOPは、メトリック学習タスクを改善するためにメートル法として使用できることを示す。
- 参考スコア（独自算出の注目度）: 3.172761915061083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The expected gradient outerproduct (EGOP) of an unknown regression function
is an operator that arises in the theory of multi-index regression, and is
known to recover those directions that are most relevant to predicting the
output. However, work on the EGOP, including that on its cheap estimators, is
restricted to the regression setting. In this work, we adapt this operator to
the multi-class setting, which we dub the expected Jacobian outerproduct
(EJOP). Moreover, we propose a simple rough estimator of the EJOP and show that
somewhat surprisingly, it remains statistically consistent under mild
assumptions. Furthermore, we show that the eigenvalues and eigenspaces also
remain consistent. Finally, we show that the estimated EJOP can be used as a
metric to yield improvements in real-world non-parametric classification tasks:
both by its use as a metric, and also as cheap initialization in metric
learning tasks.
- Abstract（参考訳）: 未知回帰関数の期待勾配外積(英: expected gradient outerproduct、egop)は、マルチインデックス回帰の理論において生じる作用素であり、出力の予測に最も関係のある方向を回復することが知られている。
しかしながら、egopに関する作業は、その安価な推定値を含む作業は、回帰設定に制限される。
本研究では,この演算子を多クラス設定に適応させ,期待されるジャコビアン外積 (EJOP) をダブする。
さらに,EJOPの簡易な粗推定器を提案し,やや意外なことに,軽度の仮定の下では統計的に一貫性が保たれていることを示す。
さらに、固有値と固有空間も一貫していることを示す。
最後に、推定されたEJOPは、実世界の非パラメトリック分類タスクを改善するために、メトリックとしての使用と、メトリック学習タスクにおける安価な初期化の両方によって、メートル法として使用できることを示す。
関連論文リスト
- A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。
まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。
理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
論文 参考訳（メタデータ） (2024-06-10T12:25:13Z) - Multifidelity Covariance Estimation via Regression on the Manifold of
Symmetric Positive Definite Matrices [0.0]
我々の多様体回帰多相性(MRMF)共分散推定器は、多様体空間上の特定の誤差モデルの下での最大可能性推定器であることを示す。
数値的な例を通して、推定器は最大1桁の精度で2乗推定誤差を抑えることができることを示した。
論文 参考訳（メタデータ） (2023-07-23T21:46:55Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z) - Learning Dynamical Systems via Koopman Operator Regression in
Reproducing Kernel Hilbert Spaces [52.35063796758121]
動的システムの有限データ軌跡からクープマン作用素を学ぶためのフレームワークを定式化する。
リスクとクープマン作用素のスペクトル分解の推定を関連付ける。
以上の結果から,RRRは他の広く用いられている推定値よりも有益である可能性が示唆された。
論文 参考訳（メタデータ） (2022-05-27T14:57:48Z) - Marginalized Operators for Off-policy Reinforcement Learning [53.37381513736073]
有理化作用素は、Retraceのような一般的な多段階作用素を特別な場合として厳密に一般化する。
余剰化演算子の推定値がスケーラブルな方法で計算可能であることを示し、また、余剰化重要度サンプリングの事前結果を特別な場合として一般化する。
論文 参考訳（メタデータ） (2022-03-30T09:59:59Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Unifying Gradient Estimators for Meta-Reinforcement Learning via
Off-Policy Evaluation [53.83642844626703]
オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。
本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
論文 参考訳（メタデータ） (2021-06-24T15:58:01Z) - On the benefits of maximum likelihood estimation for Regression and
Forecasting [35.386189585135334]
我々は回帰と予測のためのMLE(Maximum Likelihood Estimation)の実践的アプローチを提唱する。
このアプローチは、データセットの事前ドメイン知識のような誘導バイアスをキャプチャするのに適しています。
提案手法は, 提案手法を設計した汎用混合型ファミリーでインスタンス化することにより, 経験的リスク最小化よりも優れた性能が得られることを実証的に実証した。
論文 参考訳（メタデータ） (2021-06-18T22:10:43Z) - On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。
また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2019-04-18T02:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。