論文の概要: Shared active subspace for multivariate vector-valued functions
- arxiv url: http://arxiv.org/abs/2401.02735v1
- Date: Fri, 5 Jan 2024 10:08:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 15:14:58.187059
- Title: Shared active subspace for multivariate vector-valued functions
- Title（参考訳）: 多変量ベクトル値関数に対する共有アクティブ部分空間
- Authors: Khadija Musayeva (CRISAM), Mickael Binois (ACUMES)
- Abstract要約: 本稿では,多変量ベクトル値関数に対する共有能動部分空間の計算法を提案する。
目的は、元の空間上の関数評価と再構成された空間上の関数評価とのずれを最小限にすることである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes several approaches as baselines to compute a shared
active subspace for multivariate vector-valued functions. The goal is to
minimize the deviation between the function evaluations on the original space
and those on the reconstructed one. This is done either by manipulating the
gradients or the symmetric positive (semi-)definite (SPD) matrices computed
from the gradients of each component function so as to get a single structure
common to all component functions. These approaches can be applied to any data
irrespective of the underlying distribution unlike the existing vector-valued
approach that is constrained to a normal distribution. We test the
effectiveness of these methods on five optimization problems. The experiments
show that, in general, the SPD-level methods are superior to the gradient-level
ones, and are close to the vector-valued approach in the case of a normal
distribution. Interestingly, in most cases it suffices to take the sum of the
SPD matrices to identify the best shared active subspace.
- Abstract（参考訳）: 本稿では,多変量ベクトル値関数に対する共有アクティブ部分空間の基底線としていくつかのアプローチを提案する。
その目的は、元の空間における機能評価と再構成された空間における機能評価の偏差を最小化することである。
これは、各成分関数の勾配から計算された対称正(セミ)行列または対称正(spd)行列を操作して、すべての成分関数に共通な単一の構造を得ることにより行われる。
これらのアプローチは、正規分布に制約された既存のベクトル値法とは異なり、基礎となる分布に関係なく任意のデータに適用することができる。
これらの手法の有効性を5つの最適化問題で検証した。
実験により、一般に、spdレベル法は勾配レベルよりも優れており、正規分布の場合のベクトル値のアプローチに近いことが示されている。
興味深いことに、ほとんどの場合、最高の共有アクティブ部分空間を特定するためにSPD行列の和を取るだけで十分である。
関連論文リスト
- Optimal Estimation of Shared Singular Subspaces across Multiple Noisy Matrices [3.3373545585860596]
本研究は,低ランク行列デノジングフレームワークにおいて,複数の行列にまたがる共有(左)特異部分空間を推定することに焦点を当てる。
信号行列の真の特異部分空間が同一である場合、Stack-SVDは最小の最大速度最適化を実現する。
部分的共有の様々なケースにおいて、Stack-SVDが有効であり続ける条件を厳格に特徴付け、最小限の最適性を達成したり、一貫した見積もりを達成できなかったりする。
論文 参考訳（メタデータ） (2024-11-26T02:49:30Z) - EigenVI: score-based variational inference with orthogonal function expansions [23.696028065251497]
EigenVIはブラックボックス変分推論(BBVI)のための固有値に基づくアプローチである
我々はEigenVIを用いて様々なターゲット分布を近似し、例えば後方dbのベイズモデルのベンチマークスイートを含む。
論文 参考訳（メタデータ） (2024-10-31T15:48:34Z) - Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。
ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。
有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
論文 参考訳（メタデータ） (2024-05-23T16:45:52Z) - Decentralized Riemannian Conjugate Gradient Method on the Stiefel
Manifold [59.73080197971106]
本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。
これはスティーフェル多様体上の大域収束を達成することを目的としている。
論文 参考訳（メタデータ） (2023-08-21T08:02:16Z) - Low-complexity subspace-descent over symmetric positive definite
manifold [9.346050098365648]
対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。
提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
論文 参考訳（メタデータ） (2023-05-03T11:11:46Z) - Alternating Mahalanobis Distance Minimization for Stable and Accurate CP
Decomposition [4.847980206213335]
本稿では, テンソルの特異値とベクトルを導出するための新しい定式化を導入する。
このアルゴリズムのサブスウィープは、既知のランクの正確なCPDに対して超線形収束率を達成することができることを示す。
すると、アルゴリズムは各因子に対するマハラノビス距離を最適化するものであり、基底距離は他の因子に依存していると見なす。
論文 参考訳（メタデータ） (2022-04-14T19:56:36Z) - Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。
前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。
一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
論文 参考訳（メタデータ） (2022-01-29T10:00:35Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - Robust Differentiable SVD [117.35644933471401]
対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。
不安定性は互いに近い固有値の存在によって生じる。
SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
論文 参考訳（メタデータ） (2021-04-08T15:04:15Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。