論文の概要: Missing-Data-Induced Phase Transitions in Spectral PLS for Multimodal Learning

• arxiv url: http://arxiv.org/abs/2601.21294v1
• Date: Thu, 29 Jan 2026 05:46:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.60336
• Title: Missing-Data-Induced Phase Transitions in Spectral PLS for Multimodal Learning
• Title（参考訳）: マルチモーダル学習のためのスペクトルPSSの欠測データ誘起相転移
• Authors: Anders Gjølbye, Ida Kargaard, Emma Kargaard, Lars Kai Hansen,
• Abstract要約: PLS-SVDを独立したエントリーワイド・アット・アット・ランダムマスキング法で検討した。 PLS-SVDは、臨界信号対雑音閾値以下の鋭いBBP型相転移を示す。 マルチモーダル実験は、予測された位相図と、アスペクト比、信号強度、欠落レベルにまたがる回復曲線を相関させる。
• 参考スコア（独自算出の注目度）: 2.9748898344267776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Partial Least Squares (PLS) learns shared structure from paired data via the top singular vectors of the empirical cross-covariance (PLS-SVD), but multimodal datasets often have missing entries in both views. We study PLS-SVD under independent entry-wise missing-completely-at-random masking in a proportional high-dimensional spiked model. After appropriate normalization, the masked cross-covariance behaves like a spiked rectangular random matrix whose effective signal strength is attenuated by $\sqrtρ$, where $ρ$ is the joint entry retention probability. As a result, PLS-SVD exhibits a sharp BBP-type phase transition: below a critical signal-to-noise threshold the leading singular vectors are asymptotically uninformative, while above it they achieve nontrivial alignment with the latent shared directions, with closed-form asymptotic overlap formulas. Simulations and semi-synthetic multimodal experiments corroborate the predicted phase diagram and recovery curves across aspect ratios, signal strengths, and missingness levels.
• Abstract（参考訳）: 部分最小正方形(PLS)は、経験的相互共分散(PLS-SVD)のトップ特異ベクトルを介して、ペア化されたデータから共有構造を学習するが、マルチモーダルデータセットは両方のビューに欠落することが多い。 比例的な高次元スパイクモデルを用いて, PLS-SVD を独立なエントリーワイド不完全ランダムマスキングの下で検討した。 適切な正規化の後、マスク付き交叉共分散は、有効信号強度が$\sqrtρ$で減衰されるスパイクされた矩形ランダム行列のように振る舞う。 その結果、PSS-SVDは鋭いBBP型相転移を示す: 臨界信号対雑音閾値以下では、主特異ベクトルは漸近的に非形式的であり、上述のものは非自明な共有方向と非共形な一致を達成し、閉形漸近的な重なり公式を持つ。 シミュレーションと半合成マルチモーダル実験は、アスペクト比、信号強度、欠損度で予測された位相図と回復曲線を相関させる。

関連論文リスト

• An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
  生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。 異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-01-20T05:06:26Z)
• Risk-Entropic Flow Matching [0.0]
  対数指数変換をベース損失に適用することで得られる(エントロピー的な)リスクは、統計学や機械学習において確立されたツールである。 本研究では, 標準リスク感度変換(log-exponential)を条件FM損失に適用し, 結果の傾きリスク損失が有意な条件FM目標上の自然上界であることを示す。
  論文  参考訳（メタデータ） (2025-11-28T00:37:37Z)
• Spectral Thresholds in Correlated Spiked Models and Fundamental Limits of Partial Least Squares [15.163541835643635]
  本稿では,PLS(Partial Least Squares)が原理的に検出可能であるにもかかわらず,信号の回復に失敗したことを示す。 これらの結果はPLSの理論的限界を明らかにし、高次元の信頼性マルチモーダル推論手法の設計のためのガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-10-20T14:08:58Z)
• Tracing the Representation Geometry of Language Models from Pretraining to Post-training [22.18942718274405]
  本研究では,事前学習と後学習にまたがる学習表現の幾何学をスペクトル的に検討する。 自己回帰事前学習中に3つの幾何位相の一貫した非単調列が発見された。 SFTとDPOは、特定の命令データや優先データを統合するために「エントロピー探索」ダイナミクスを駆動します。
  論文  参考訳（メタデータ） (2025-09-27T00:46:29Z)
• Multi-Source and Test-Time Domain Adaptation on Multivariate Signals using Spatio-Temporal Monge Alignment [59.75420353684495]
  コンピュータビジョンやバイオメディカルデータなどの信号に対する機械学習の応用は、ハードウェアデバイスやセッション記録にまたがる変動のため、しばしば課題に直面している。 本研究では,これらの変動を緩和するために,時空間モンジュアライメント(STMA)を提案する。 我々はSTMAが、非常に異なる設定で取得したデータセット間で、顕著で一貫したパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-07-19T13:33:38Z)
• On Extreme Value Asymptotics of Projected Sample Covariances in High Dimensions with Applications in Finance and Convolutional Networks [0.0]
  ガムベル型極値が線形時系列フレームワーク内で真であることを示す。 適用例として、慣用的リスクに関して、長期限定の中間分散ポートフォリオ最適化とサブポートフォリオ分析について論じる。
  論文  参考訳（メタデータ） (2023-10-12T09:17:46Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Information theoretic limits of learning a sparse rule [22.10167304165091]
  システムサイズが無限大に大きくなると,サンプルごとの相互情報の変動式が証明される。 このような信号と、疎度と消滅率の適切なスケーリングに対して、MMSEはピースワイズ定数が増加しないことがわかった。 一般化誤差に対するオール・オー・ナッシング現象を,訓練例のサブ線形集合を用いて論じる。
  論文  参考訳（メタデータ） (2020-06-19T18:29:10Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。