論文の概要: Anchoring the Eigengap: Cross-Modal Spectral Stabilization for Sample-Efficient Representation Learning

• arxiv url: http://arxiv.org/abs/2605.08764v1
• Date: Sat, 09 May 2026 07:49:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.872069
• Title: Anchoring the Eigengap: Cross-Modal Spectral Stabilization for Sample-Efficient Representation Learning
• Title（参考訳）: 固有ギャップのアンコール: サンプル効率のよい表現学習のためのクロスモーダルスペクトル安定化
• Authors: Nikhil J. Dhinagar, Vidhi Chhatbar, Chirag Jagad, Pavithra Senthilkumar, Sophia I. Thomopoulos, Mahir H. Khan, Sook-Lei Liew, the ENIGMA-Stroke Recovery Working Group, Paul M. Thompson,
• Abstract要約: 視力モデルが低データ状態,特にラベル付きサンプルが不足している医療画像において,急速に低下していることが示される。 我々は、回復可能な次元K(N)を定量化する有限サンプル表現学習の理論を開発する。 マルチモーダルトレーニングは,非モーダルモデルでも,より安定なモードを維持し,クラス分離を改善する。
• 参考スコア（独自算出の注目度）: 0.8326214193432122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep vision models degrade sharply in low-data regimes, particularly in medical imaging where labeled samples are scarce. We show this arises not merely from overfitting but from a geometric failure: finite-sample noise corrupts the embedding covariance, collapsing the eigengap and limiting the number of recoverable signal-bearing modes. We develop a spectral theory of finite-sample representation learning that quantifies the recoverable dimension K(N), the number of eigenmodes that can be stably estimated from N samples. Using perturbation theory and concentration bounds, we show that only modes with eigenvalues above the noise floor $\|\hatΣ - Σ\|_{\mathrm{op}} \sim \sqrt{D/N}$ are reliable, yielding a truncated Mahalanobis energy that governs classification performance. Under a power-law spectral model, this energy can be approximated by a truncated Riemann zeta function, linking eigenvalue decay to data efficiency and AUC. Within this framework, multimodal learning acts as spectral stabilization: vision-language models impose low-rank constraints that suppress noise-dominated directions and preserve the eigengap, increasing K(N) under data scarcity. Across MNIST and multi-disease neuroimaging, we show that multimodal training maintains more stable modes and improves class separation, even when unimodal models achieve comparable few-shot accuracy. These results identify spectral collapse as a fundamental bottleneck in low-data learning. We use truncated Mahalanobis energy and K(N) to diagnose encoder quality, and introduce zeta-based spectral filtering as a principled approach to improve data efficiency.
• Abstract（参考訳）: ディープビジョンモデルは、低データ状態、特にラベル付きサンプルが不足している医療画像において、急速に劣化する。 有限サンプルノイズは埋め込み共分散を破損させ、固有ギャップを崩壊させ、回復可能な信号付加モードの数を制限する。 復元可能な次元 K(N) を定量化する有限サンプル表現学習のスペクトル理論を開発する。 摂動理論と濃度境界を用いることで、ノイズフロア $\|\hatΣ - Σ\|_{\mathrm{op}} \sim \sqrt{D/N}$ 上の固有値を持つモードのみが信頼でき、分類性能を制御したマハラノビスエネルギーが得られることを示す。 パワー-ロースペクトルモデルの下では、このエネルギーは、固有値減衰をデータ効率とAUCに結びつける、切り離されたリーマンゼータ関数によって近似することができる。 この枠組みの中で、マルチモーダル学習はスペクトル安定化として機能する: 視覚言語モデルは、ノイズに支配された方向を抑え、固有ギャップを保ち、データ不足下でK(N)を増加させる、低ランクな制約を課する。 MNISTとマルチディスプライス・ニューロイメージング全体で、マルチモーダル・トレーニングはより安定なモードを維持し、クラス分離を改善する。 これらの結果は、低データ学習における基本的なボトルネックとしてスペクトル崩壊を識別する。 我々は,データ効率向上のための原理的アプローチとして,エンコーダの品質を診断するために,truncated Mahalanobis Energy と K(N) を用い,ゼータベースのスペクトルフィルタリングを導入している。

関連論文リスト

• Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
  連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。 一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。 離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:48:17Z)
• On the Spectral Flattening of Quantized Embeddings [25.64641307046705]
  超低精度での大規模言語モデルの訓練は、離散量子化制約と言語データの本質的な重み付きスペクトル特性の相違に根ざした不安定性によって、決定的に阻害される。 この研究は、LLMのスペクトル感度を定量化するだけでなく、安定な低ビット最適化に必要な条件としてスペクトル忠実性を確立する。
  論文  参考訳（メタデータ） (2026-02-01T02:21:53Z)
• Breaking the Bottlenecks: Scalable Diffusion Models for 3D Molecular Generation [0.0]
  拡散モデルは分子設計のための強力な生成モデルとして登場した。 彼らの使用は、長いサンプリング軌道、逆過程のばらつき、そして力学の認知における構造的認識の制限によって制限されている。 直接分極拡散モデル(英語版)は、逆MCMC更新を決定論的分極ステップに置き換えることでこれらの非効率性を緩和する。
  論文  参考訳（メタデータ） (2026-01-13T20:09:44Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Estimating Higher-Order Mixed Memberships via the $\ell_{2,\infty}$ Tensor Perturbation Bound [8.521132000449766]
  テンソルブロックモデルの一般化であるテンソル混合メンバーシップブロックモデルを提案する。 我々は,モデルの同定可能性を確立し,計算効率の良い推定手法を提案する。 本手法を実データおよびシミュレーションデータに適用し,個別のコミュニティメンバーシップを持つモデルから特定できない効果を示す。
  論文  参考訳（メタデータ） (2022-12-16T18:32:20Z)
• Asymptotic consistency of the WSINDy algorithm in the limit of continuum data [0.0]
  非線形力学アルゴリズム(WSINDy)の弱形式スパース同定の整合性について検討する。 弱形式方程式学習の雑音に対する観測されたロバスト性について数学的に厳密な説明を行う。
  論文  参考訳（メタデータ） (2022-11-29T07:49:34Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。