論文の概要: Computational Thresholds in Multi-Modal Learning via the Spiked Matrix-Tensor Model

• arxiv url: http://arxiv.org/abs/2506.02664v1
• Date: Tue, 03 Jun 2025 09:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.408632
• Title: Computational Thresholds in Multi-Modal Learning via the Spiked Matrix-Tensor Model
• Title（参考訳）: スパイクマトリックス・テンソルモデルによるマルチモーダル学習における計算閾値
• Authors: Hugo Tabanelli, Pierre Mergny, Lenka Zdeborova, Florent Krzakala,
• Abstract要約: 本研究では,2つの雑音,相関モード(スパイク行列とスパイクテンソル)からの高次元信号の回復について検討した。 簡単な逐次カリキュラム学習戦略が行列を最初に回復し、テンソル回復誘導に活用することで、このボトルネックを解消し、最適な弱回復しきい値を達成することを示す。
• 参考スコア（独自算出の注目度）: 16.894374370635433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the recovery of multiple high-dimensional signals from two noisy, correlated modalities: a spiked matrix and a spiked tensor sharing a common low-rank structure. This setting generalizes classical spiked matrix and tensor models, unveiling intricate interactions between inference channels and surprising algorithmic behaviors. Notably, while the spiked tensor model is typically intractable at low signal-to-noise ratios, its correlation with the matrix enables efficient recovery via Bayesian Approximate Message Passing, inducing staircase-like phase transitions reminiscent of neural network phenomena. In contrast, empirical risk minimization for joint learning fails: the tensor component obstructs effective matrix recovery, and joint optimization significantly degrades performance, highlighting the limitations of naive multi-modal learning. We show that a simple Sequential Curriculum Learning strategy-first recovering the matrix, then leveraging it to guide tensor recovery-resolves this bottleneck and achieves optimal weak recovery thresholds. This strategy, implementable with spectral methods, emphasizes the critical role of structural correlation and learning order in multi-modal high-dimensional inference.
• Abstract（参考訳）: 本研究では,2つのノイズ,相関モーダル性(スパイク行列とスパイクテンソル)からの複数の高次元信号の復元について検討した。 この設定は古典的スパイク行列とテンソルモデルを一般化し、推論チャネルと驚くべきアルゴリズム的振る舞いの間の複雑な相互作用を明らかにする。 特に、スパイクテンソルモデルは通常低信号対雑音比で抽出可能であるが、行列との相関はベイジアン近似メッセージパッシングによる効率的な回復を可能にし、ニューラルネットワーク現象を連想させる階段のような相転移を引き起こす。 テンソルコンポーネントは効果的な行列回復を阻害し、ジョイント最適化はパフォーマンスを著しく低下させ、単純マルチモーダル学習の限界を浮き彫りにする。 簡単な逐次カリキュラム学習戦略が行列を最初に回復し、テンソル回復誘導に活用することで、このボトルネックを解消し、最適な弱回復しきい値を達成することを示す。 スペクトル法で実装可能なこの戦略は、多次元高次元推論における構造相関と学習順序の重要な役割を強調する。

関連論文リスト

• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [59.6658995479243]
  P&M(texttext-Perturb-and-Merge)は,モデルマージをCLパラダイムに統合し,忘れることを避けるための新しい連続学習フレームワークである。 理論的解析により、全てのタスクにおける総損失増加を最小化し、最適マージ係数の解析解を導出する。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Optimal thresholds and algorithms for a model of multi-modal learning in high dimensions [15.000720880773548]
  本論文は,このモデルに対する近似メッセージパッシング(AMP)アルゴリズムを導出し,その性能を高次元限界で特徴づける。 AMPの線形化は、広く使われている部分最小二乗法(PLS)および正準相関解析法(CCA)と数値的に比較される。
  論文  参考訳（メタデータ） (2024-07-03T21:48:23Z)
• Interaction Screening and Pseudolikelihood Approaches for Tensor Learning in Ising Models [7.298865011539767]
  我々は,Ising構造学習の2つのよく知られた手法,すなわち擬似的類似性アプローチと相互作用スクリーニングアプローチについて検討した。 両手法とも,ネットワークノード数のサンプルサイズ対数法を用いて,基盤となるハイパーネットワーク構造を検索する。
  論文  参考訳（メタデータ） (2023-10-20T02:42:32Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization [3.6978630614152013]
  本稿では, テンソル完備問題の組込み学習に焦点をあて, 因子化・完備化のための新しい多層ニューラルネットワークアーキテクチャを提案する。 ネットワークアーキテクチャには、オーバーフィッティングを最小限に抑えるためにブロックを構築する一連の低ランク行列因数分解、非直線性のために各層でインターリーブされた転送関数、ネットワークの深さを減少させるバイパス接続など、多くの利点がある。 提案アルゴリズムはEPSデータに欠落した値を出力するのに非常に効率的である。
  論文  参考訳（メタデータ） (2021-09-04T03:08:34Z)
• Initialization and Regularization of Factorized Neural Layers [23.875225732697142]
  ディープネットにおける因子化層の初期化と規則化の方法を示す。 これらのスキームが翻訳と教師なしプリトレーニングの両方のパフォーマンスを向上させる方法を示しています。
  論文  参考訳（メタデータ） (2021-05-03T17:28:07Z)
• Learning Mixtures of Low-Rank Models [89.39877968115833]
  低ランクモデルの計算混合を学習する問題について検討する。 ほぼ最適サンプルを用いて未知の行列を復元することが保証されるアルゴリズムを開発する。 さらに,提案アルゴリズムはランダムノイズに対して確実に安定である。
  論文  参考訳（メタデータ） (2020-09-23T17:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。