論文の概要: Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization

• arxiv url: http://arxiv.org/abs/2512.03393v1
• Date: Wed, 03 Dec 2025 02:53:11 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 11:55:24.284899
• Title: Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization
• Title（参考訳）: インシシット正規化を用いた複数測定ベクトルのチューニング自由構造スパース復元
• Authors: Lakshmi Jayalal, Sheetal Kalyani,
• Abstract要約: 複数の測定ベクトルにおけるスパース信号を復元するためのチューニング不要なフレームワークを提案する。 最適化力学は「モメンタムのような」効果を示し、真のサポートにおける行のノルムは他のものよりも著しく速く成長することを示した。
• 参考スコア（独自算出の注目度）: 13.378211527081582
• License:
• Abstract: Recovering jointly sparse signals in the multiple measurement vectors (MMV) setting is a fundamental problem in machine learning, but traditional methods like multiple measurement vectors orthogonal matching pursuit (M-OMP) and multiple measurement vectors FOCal Underdetermined System Solver (M-FOCUSS) often require careful parameter tuning or prior knowledge of the sparsity of the signal and/or noise variance. We introduce a novel tuning-free framework that leverages Implicit Regularization (IR) from overparameterization to overcome this limitation. Our approach reparameterizes the estimation matrix into factors that decouple the shared row-support from individual vector entries. We show that the optimization dynamics inherently promote the desired row-sparse structure by applying gradient descent to a standard least-squares objective on these factors. We prove that with a sufficiently small and balanced initialization, the optimization dynamics exhibit a "momentum-like" effect, causing the norms of rows in the true support to grow significantly faster than others. This formally guarantees that the solution trajectory converges towards an idealized row-sparse solution. Additionally, empirical results demonstrate that our approach achieves performance comparable to established methods without requiring any prior information or tuning.
• Abstract（参考訳）: 多重測度ベクトル(MMV)設定での連成スパース信号の復元は機械学習の基本的な問題であるが、多重測度ベクトルの直交整合追従(M-OMP)や複数測度ベクトルのFOCal Underdetermined System Solver(M-FOCUSS)のような従来の手法では、信号の間隔や雑音の偏りについて注意深いパラメータチューニングや事前の知識を必要とすることが多い。 本稿では、この制限を克服するために、過度正規化(IR)をオーバーパラメータ化から活用する新しいチューニング不要フレームワークを提案する。 提案手法では,推定行列を各ベクトルエントリから共有行サポートを分離する因子に再パラメータ化する。 最適化力学は、これらの因子の標準最小二乗の目的に勾配降下を適用することにより、目的の行分離構造を本質的に促進することを示す。 十分に小さくバランスの取れた初期化により、最適化力学は「モメンタムのような」効果を示し、真のサポートにおける行のノルムは他のものよりも著しく速く成長することを示した。 このことは、解の軌跡が理想化された行スパース解へ収束することを正式に保証する。 さらに,本手法は事前情報やチューニングを必要とせずに,確立した手法に匹敵する性能を実現することを示す。

関連論文リスト

• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning [1.0282274843007797]
  外部補間(QMME)フレームワークを導入し,その逐次収束特性を確立する。 実効性を示すために,大規模カーネル正規化学習問題にQMMEを適用した。
  論文  参考訳（メタデータ） (2025-07-06T05:17:28Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [9.788112471288057]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 凸プログラミング問題に対する最適パラメトリック解を特徴付ける。 必要かつ十分な条件を導出することにより、両スキームがグローバルな最適解を保証できることが示される。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• Stochastic Optimal Control Matching [53.156277491861985]
  最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。 この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。 実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
  論文  参考訳（メタデータ） (2023-12-04T16:49:43Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Reduction of the Number of Variables in Parametric Constrained Least-Squares Problems [0.20305676256390928]
  本稿では,関連する最適化変数数を削減する手法を提案する。 本稿では, 非線形ベンチマークプロセスの数値実験および線形化MPC問題において, 提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-18T18:26:40Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。