論文の概要: SOFARI: High-Dimensional Manifold-Based Inference

• arxiv url: http://arxiv.org/abs/2309.15032v1
• Date: Tue, 26 Sep 2023 16:01:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 13:04:14.035073
• Title: SOFARI: High-Dimensional Manifold-Based Inference
• Title（参考訳）: SoFARI:高次元マニフォールドベース推論
• Authors: Zemin Zheng, Xin Zhou, Yingying Fan, Jinchi Lv
• Abstract要約: 我々は2つのSOFARI変種を導入し、強力で弱い潜伏要因を扱えるようにし、後者は広範囲のアプリケーションをカバーする。 そこで我々は,SOFARIが潜在左因子ベクトルと特異値の両方に対して偏差補正推定器を提供し,その平均零正規分布を疎分散で楽しむことを示す。 本稿では,SOFARIの有効性を概説し,シミュレーション例による理論結果の正当化と,経済予測における実データの適用について述べる。
• 参考スコア（独自算出の注目度）: 8.860162863559163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning is a widely used technique for harnessing information from various tasks. Recently, the sparse orthogonal factor regression (SOFAR) framework, based on the sparse singular value decomposition (SVD) within the coefficient matrix, was introduced for interpretable multi-task learning, enabling the discovery of meaningful latent feature-response association networks across different layers. However, conducting precise inference on the latent factor matrices has remained challenging due to orthogonality constraints inherited from the sparse SVD constraint. In this paper, we suggest a novel approach called high-dimensional manifold-based SOFAR inference (SOFARI), drawing on the Neyman near-orthogonality inference while incorporating the Stiefel manifold structure imposed by the SVD constraints. By leveraging the underlying Stiefel manifold structure, SOFARI provides bias-corrected estimators for both latent left factor vectors and singular values, for which we show to enjoy the asymptotic mean-zero normal distributions with estimable variances. We introduce two SOFARI variants to handle strongly and weakly orthogonal latent factors, where the latter covers a broader range of applications. We illustrate the effectiveness of SOFARI and justify our theoretical results through simulation examples and a real data application in economic forecasting.
• Abstract（参考訳）: マルチタスク学習は,様々なタスクからの情報を活用する手法として広く用いられている。 近年,係数行列内におけるスパース特異値分解(SVD)に基づくスパルス直交因子回帰(SOFAR)フレームワークを導入し,多タスク学習を解釈可能とし,異なる層にまたがる有意義な潜在的特徴応答相関ネットワークの発見を可能にした。 しかし、スパルスSVD制約から受け継いだ直交制約のため、潜在因子行列の正確な推論は依然として困難である。 本稿では,svd制約によって課されるスティーフェル多様体構造を取り入れつつ,ニーマン近似オルトゴナリティ推論に基づく高次元多様体ベースソファー推論(sofari)と呼ばれる新しい手法を提案する。 基礎となるスティーフェル多様体構造を利用することで、SOFARIは潜在左因子ベクトルと特異値の両方に対してバイアス補正された推定器を提供し、そこで、推定可能な分散を伴う漸近平均零正規分布を楽しむことを示す。 強弱直交潜在因子を扱うソファリ変種を2種類導入し,後者は幅広い応用範囲をカバーする。 ソファリの有効性を説明し、シミュレーション例と経済予測における実データ応用により、理論結果を正当化する。

関連論文リスト

• Distribution-Dependent Rates for Multi-Distribution Learning [26.38831409926518]
  最近のマルチディストリビューション学習フレームワークは、環境との動的相互作用において、この目的に対処する。 我々は, MDL体制における分布依存性の保証を行い, 最適値以下の差でスケールし, その結果, 試料サイズへの依存度が向上することを示した。 適応型楽観的アルゴリズム LCB-DR を考案し,マルチアームバンディット文学における均一性と楽観的アロケーションのコントラストを反映した。
  論文  参考訳（メタデータ） (2023-12-20T15:50:16Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• A VAE Approach to Sample Multivariate Extremes [6.548734807475054]
  本稿では,重み付き分布をサンプリングするための変分オートエンコーダ(VAE)アプローチについて述べる。 本研究は,ドナウ川流域における人工的データセットと実測値との関係について述べる。 テストデータセットの標準VAEよりも優れているだけでなく、競合するEVTベースの生成手法との比較も提供する。
  論文  参考訳（メタデータ） (2023-06-19T14:53:40Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics [21.51266421854127]
  我々はIWAE(Importance Weighted Auto-Encoder)境界の一般化であるVR-IWAE境界を定式化し研究する。 我々はVR-IWAE境界がいくつかの望ましい特性を享受していることを示し、特にVR境界と同じ勾配降下手順を導出することを示した。 次に、VR-IWAE境界と標準IWAE境界の相補的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-10-12T14:15:39Z)
• MULTIPAR: Supervised Irregular Tensor Factorization with Multi-task Learning [19.67636717572317]
  PARAFAC2は有意義な医療概念(フェノタイプ)の抽出に成功している マルチタスク学習を用いた教師付き不規則なテンソル分解法である MultiPAR を提案する。
  論文  参考訳（メタデータ） (2022-08-01T17:07:23Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。