論文の概要: Optimal thresholds and algorithms for a model of multi-modal learning in high dimensions
- arxiv url: http://arxiv.org/abs/2407.03522v1
- Date: Wed, 3 Jul 2024 21:48:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 19:51:01.574807
- Title: Optimal thresholds and algorithms for a model of multi-modal learning in high dimensions
- Title（参考訳）: 高次元マルチモーダル学習モデルのための最適しきい値とアルゴリズム
- Authors: Christian Keup, Lenka Zdeborová,
- Abstract要約: 本論文は,このモデルに対する近似メッセージパッシング(AMP)アルゴリズムを導出し,その性能を高次元限界で特徴づける。
AMPの線形化は、広く使われている部分最小二乗法(PLS)および正準相関解析法(CCA)と数値的に比較される。
- 参考スコア（独自算出の注目度）: 15.000720880773548
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work explores multi-modal inference in a high-dimensional simplified model, analytically quantifying the performance gain of multi-modal inference over that of analyzing modalities in isolation. We present the Bayes-optimal performance and weak recovery thresholds in a model where the objective is to recover the latent structures from two noisy data matrices with correlated spikes. The paper derives the approximate message passing (AMP) algorithm for this model and characterizes its performance in the high-dimensional limit via the associated state evolution. The analysis holds for a broad range of priors and noise channels, which can differ across modalities. The linearization of AMP is compared numerically to the widely used partial least squares (PLS) and canonical correlation analysis (CCA) methods, which are both observed to suffer from a sub-optimal recovery threshold.
- Abstract（参考訳）: 本研究は,高次元単純化モデルにおけるマルチモーダル推論について検討し,モーダルを独立に解析する手法よりも,マルチモーダル推論の性能ゲインを解析的に定量化する。
相関スパイクを持つ2つのノイズデータ行列から潜伏構造を復元するモデルにおいて,ベイズ最適性能と弱い回復しきい値を示す。
本論文は、このモデルに対する近似メッセージパッシング(AMP)アルゴリズムを導出し、関連する状態の進化を通じて高次元限界におけるその性能を特徴付ける。
この分析は、様々な形態の異なる様々な先行と雑音のチャンネルに当てはまる。
AMPの線形化は、広く使われている部分最小二乗法(PLS)や正準相関解析法(CCA)と数値的に比較される。
関連論文リスト
- Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。
CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。
CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
論文 参考訳（メタデータ） (2024-02-05T03:25:04Z) - Hyperparameter Estimation for Sparse Bayesian Learning Models [1.0172874946490507]
Aparse Bayesian Learning (SBL) モデルは、信号処理や機械学習において、階層的な事前処理による疎結合を促進するために広く使われている。
本稿では,種々の目的関数に対するSBLモデルの改良のためのフレームワークを提案する。
信号雑音比において, 高い効率性を示す新しいアルゴリズムが導入された。
論文 参考訳（メタデータ） (2024-01-04T21:24:01Z) - Approximate Message Passing for the Matrix Tensor Product Model [8.206394018475708]
本稿では,行列テンソル積モデルに対する近似メッセージパッシング(AMP)アルゴリズムの提案と解析を行う。
非可分関数に対する収束定理に基づいて、非可分関数に対する状態発展を証明する。
我々は、この状態進化結果を利用して、関心の信号の回復に必要な十分な条件を提供する。
論文 参考訳（メタデータ） (2023-06-27T16:03:56Z) - Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。
これは経験的ベンチマークでのHPO収束を早くすることを意味する。
論文 参考訳（メタデータ） (2023-05-05T15:33:39Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳（メタデータ） (2020-06-24T17:53:53Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Hierarchical regularization networks for sparsification based learning
on noisy datasets [0.0]
階層は、連続的により微細なスケールで特定される近似空間から従う。
各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。
その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
論文 参考訳（メタデータ） (2020-06-09T18:32:24Z) - Bayesian System ID: Optimal management of parameter, model, and
measurement uncertainty [0.0]
システム識別(ID)の確率的定式化の頑健さを,スパース,ノイズ,間接データに対して評価した。
従来手法の目的関数面と比較して,ログ後部は幾何学的特性が向上したことを示す。
論文 参考訳（メタデータ） (2020-03-04T22:48:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。