論文の概要: A Random Matrix Theory of Masked Self-Supervised Regression

• arxiv url: http://arxiv.org/abs/2601.23208v1
• Date: Fri, 30 Jan 2026 17:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.587719
• Title: A Random Matrix Theory of Masked Self-Supervised Regression
• Title（参考訳）: マスク付き自己監督回帰のランダム行列理論
• Authors: Arie Wortsman Zurich, Federica Gerace, Bruno Loureiro, Yue M. Lu,
• Abstract要約: 実験では,様々なマスキングパターンにまたがって予測を集約し,行列値の合同予測を行う。 このオブジェクトは、互いに条件をコーディネートする方法を符号化し、新しい分析課題を生じさせる。 マスクされた自己教師型学習がPCAを確実に上回る構造的体制を同定する。
• 参考スコア（独自算出の注目度）: 16.836043197411378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of transformer models, masked self-supervised learning (SSL) has become a foundational training paradigm. A defining feature of masked SSL is that training aggregates predictions across many masking patterns, giving rise to a joint, matrix-valued predictor rather than a single vector-valued estimator. This object encodes how coordinates condition on one another and poses new analytical challenges. We develop a precise high-dimensional analysis of masked modeling objectives in the proportional regime where the number of samples scales with the ambient dimension. Our results provide explicit expressions for the generalization error and characterize the spectral structure of the learned predictor, revealing how masked modeling extracts structure from data. For spiked covariance models, we show that the joint predictor undergoes a Baik--Ben Arous--Péché (BBP)-type phase transition, identifying when masked SSL begins to recover latent signals. Finally, we identify structured regimes in which masked self-supervised learning provably outperforms PCA, highlighting potential advantages of SSL objectives over classical unsupervised methods
• Abstract（参考訳）: トランスフォーマーモデルの時代、マスク付き自己教師型学習(SSL)は基礎的な訓練パラダイムとなっている。 マスクされたSSLの明確な特徴は、トレーニングが多くのマスキングパターンにまたがって予測を集約し、単一のベクトル値推定器ではなく、共同で行列値の予測器を発生させることである。 このオブジェクトは、互いに条件をコーディネートする方法を符号化し、新しい分析課題を生じさせる。 本研究では,サンプルの数が周囲の寸法に比例してスケールする比例状態において,マスク付きモデリング対象の高精度な高次元解析法を開発した。 この結果から,学習した予測器のスペクトル構造を解析し,マスクモデルがデータから構造を抽出する方法を明らかにした。 スパイク共分散モデルでは、結合予測器がベイク-ベン・アラス-ペシェ (BBP) 型位相遷移を行い、マスクされたSSLが潜時信号の回復を開始するかを特定する。 最後に、マスク付き自己教師付き学習がPCAを確実に上回り、古典的教師なし手法よりもSSL目標の潜在的優位性を強調した構造化体制を同定する。

関連論文リスト

• A Semi-supervised Molecular Learning Framework for Activity Cliff Estimation [10.640733919289643]
  そこで本研究では,SemiMolと呼ばれる新しい半教師付き学習手法を提案する。 SemiMolは、後続のトレーニングに擬似信号として、多くの無注釈データに対する予測を使用する。 また,SemiMolはグラフベースのMLアーキテクチャを大幅に強化し,最先端の事前トレーニングやSSLベースラインを克服することを示す。
  論文  参考訳（メタデータ） (2026-01-08T02:20:25Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Self-Speculative Masked Diffusions [46.04054227238148]
  本稿では,離散データに対する自己投機的マスク拡散モデルを提案する。 マスク位置上の非分解予測を発生させることにより計算負担を低減する。 我々は,GPT2スケールのテキストモデリングとタンパク質配列生成に本手法を適用し,必要なネットワーク転送回数を2倍に削減できることを確認した。
  論文  参考訳（メタデータ） (2025-10-04T20:16:38Z)
• Investigating Mask-aware Prototype Learning for Tabular Anomaly Detection [10.59950164851305]
  タブラル異常検出は、医学的疾患の特定、金銭的不正検出、侵入監視など、様々な現実世界の応用において重要である。 近年の深層学習に基づく手法は,表現の絡み合いや,異常検出性能を妨げる大域的相関モデリングの欠如に悩まされている。 本稿では,マスクモデルとプロトタイプ学習を導入し,この問題に対処する。
  論文  参考訳（メタデータ） (2025-06-03T11:22:44Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
  本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。 我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• HuRef: HUman-REadable Fingerprint for Large Language Models [44.9820558213721]
  HuRefは、大きな言語モデルのための人間可読指紋である。 トレーニングやモデルパラメータを公開することなく、ベースモデルを独自に識別する。
  論文  参考訳（メタデータ） (2023-12-08T05:01:47Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Probabilistic fine-tuning of pruning masks and PAC-Bayes self-bounded learning [16.526326919313924]
  本研究では, プルーニングマスクの損失を最適化することにより, プルーニングマスクの学習方法を検討する。 線形回帰の設定における誘導適応予測器のトレーニングダイナミクスを解析する。 PAC-Bayes一般化誤差境界は, 先行データと後続データとの間の特徴アライメントの変化の大きさによって制御されることを示す。
  論文  参考訳（メタデータ） (2021-10-22T14:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。