論文の概要: SOFARI: High-Dimensional Manifold-Based Inference

• arxiv url: http://arxiv.org/abs/2309.15032v1
• Date: Tue, 26 Sep 2023 16:01:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 13:04:14.035073
• Title: SOFARI: High-Dimensional Manifold-Based Inference
• Title（参考訳）: SoFARI:高次元マニフォールドベース推論
• Authors: Zemin Zheng, Xin Zhou, Yingying Fan, Jinchi Lv
• Abstract要約: 我々は2つのSOFARI変種を導入し、強力で弱い潜伏要因を扱えるようにし、後者は広範囲のアプリケーションをカバーする。 そこで我々は,SOFARIが潜在左因子ベクトルと特異値の両方に対して偏差補正推定器を提供し,その平均零正規分布を疎分散で楽しむことを示す。 本稿では,SOFARIの有効性を概説し,シミュレーション例による理論結果の正当化と,経済予測における実データの適用について述べる。
• 参考スコア（独自算出の注目度）: 8.860162863559163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning is a widely used technique for harnessing information from various tasks. Recently, the sparse orthogonal factor regression (SOFAR) framework, based on the sparse singular value decomposition (SVD) within the coefficient matrix, was introduced for interpretable multi-task learning, enabling the discovery of meaningful latent feature-response association networks across different layers. However, conducting precise inference on the latent factor matrices has remained challenging due to orthogonality constraints inherited from the sparse SVD constraint. In this paper, we suggest a novel approach called high-dimensional manifold-based SOFAR inference (SOFARI), drawing on the Neyman near-orthogonality inference while incorporating the Stiefel manifold structure imposed by the SVD constraints. By leveraging the underlying Stiefel manifold structure, SOFARI provides bias-corrected estimators for both latent left factor vectors and singular values, for which we show to enjoy the asymptotic mean-zero normal distributions with estimable variances. We introduce two SOFARI variants to handle strongly and weakly orthogonal latent factors, where the latter covers a broader range of applications. We illustrate the effectiveness of SOFARI and justify our theoretical results through simulation examples and a real data application in economic forecasting.
• Abstract（参考訳）: マルチタスク学習は,様々なタスクからの情報を活用する手法として広く用いられている。 近年,係数行列内におけるスパース特異値分解(SVD)に基づくスパルス直交因子回帰(SOFAR)フレームワークを導入し,多タスク学習を解釈可能とし,異なる層にまたがる有意義な潜在的特徴応答相関ネットワークの発見を可能にした。 しかし、スパルスSVD制約から受け継いだ直交制約のため、潜在因子行列の正確な推論は依然として困難である。 本稿では,svd制約によって課されるスティーフェル多様体構造を取り入れつつ,ニーマン近似オルトゴナリティ推論に基づく高次元多様体ベースソファー推論(sofari)と呼ばれる新しい手法を提案する。 基礎となるスティーフェル多様体構造を利用することで、SOFARIは潜在左因子ベクトルと特異値の両方に対してバイアス補正された推定器を提供し、そこで、推定可能な分散を伴う漸近平均零正規分布を楽しむことを示す。 強弱直交潜在因子を扱うソファリ変種を2種類導入し,後者は幅広い応用範囲をカバーする。 ソファリの有効性を説明し、シミュレーション例と経済予測における実データ応用により、理論結果を正当化する。

関連論文リスト

• Learning Controlled Stochastic Differential Equations [61.82896036131116]
  本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。 我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。 当社のメソッドはオープンソースPythonライブラリとして利用可能です。
  論文  参考訳（メタデータ） (2024-11-04T11:09:58Z)
• Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
  本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。 点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。 両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-31T19:45:27Z)
• Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
  本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
  論文  参考訳（メタデータ） (2024-02-14T16:10:42Z)
• Distribution-Dependent Rates for Multi-Distribution Learning [26.38831409926518]
  最近のマルチディストリビューション学習フレームワークは、環境との動的相互作用において、この目的に対処する。 我々は, MDL体制における分布依存性の保証を行い, 最適値以下の差でスケールし, その結果, 試料サイズへの依存度が向上することを示した。 適応型楽観的アルゴリズム LCB-DR を考案し,マルチアームバンディット文学における均一性と楽観的アロケーションのコントラストを反映した。
  論文  参考訳（メタデータ） (2023-12-20T15:50:16Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics [21.51266421854127]
  我々はIWAE(Importance Weighted Auto-Encoder)境界の一般化であるVR-IWAE境界を定式化し研究する。 我々はVR-IWAE境界がいくつかの望ましい特性を享受していることを示し、特にVR境界と同じ勾配降下手順を導出することを示した。 次に、VR-IWAE境界と標準IWAE境界の相補的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-10-12T14:15:39Z)
• MULTIPAR: Supervised Irregular Tensor Factorization with Multi-task Learning [19.67636717572317]
  PARAFAC2は有意義な医療概念(フェノタイプ)の抽出に成功している マルチタスク学習を用いた教師付き不規則なテンソル分解法である MultiPAR を提案する。
  論文  参考訳（メタデータ） (2022-08-01T17:07:23Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。