論文の概要: Probabilistic and nonlinear compressive sensing

• arxiv url: http://arxiv.org/abs/2509.15060v1
• Date: Thu, 18 Sep 2025 15:22:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.298242
• Title: Probabilistic and nonlinear compressive sensing
• Title（参考訳）: 確率的・非線形圧縮センシング
• Authors: Lukas Silvester Barth, Paulo von Petersenn,
• Abstract要約: モンテカルロサンプリングを必要としない正則回帰のスムーズな確率的再構成を提案する。 IHT や (Relaxed-) Lasso などの圧縮センシングアルゴリズムよりも優れていることを実証的に実証した。 また, 学生ネットワークの圧縮による非線形教師ネットワークのパラメータ回復がいつ可能かを調べることで, 圧縮センシングの非線形一般化に関する研究にも貢献する。
• 参考スコア（独自算出の注目度）: 0.7734726150561088
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a smooth probabilistic reformulation of $\ell_0$ regularized regression that does not require Monte Carlo sampling and allows for the computation of exact gradients, facilitating rapid convergence to local optima of the best subset selection problem. The method drastically improves convergence speed compared to similar Monte Carlo based approaches. Furthermore, we empirically demonstrate that it outperforms compressive sensing algorithms such as IHT and (Relaxed-) Lasso across a wide range of settings and signal-to-noise ratios. The implementation runs efficiently on both CPUs and GPUs and is freely available at https://github.com/L0-and-behold/probabilistic-nonlinear-cs. We also contribute to research on nonlinear generalizations of compressive sensing by investigating when parameter recovery of a nonlinear teacher network is possible through compression of a student network. Building upon theorems of Fefferman and Markel, we show theoretically that the global optimum in the infinite-data limit enforces recovery up to certain symmetries. For empirical validation, we implement a normal-form algorithm that selects a canonical representative within each symmetry class. However, while compression can help to improve test loss, we find that exact parameter recovery is not even possible up to symmetries. In particular, we observe a surprising rebound effect where teacher and student configurations initially converge but subsequently diverge despite continuous decrease in test loss. These findings indicate fundamental differences between linear and nonlinear compressive sensing.
• Abstract（参考訳）: モンテカルロサンプリングを必要とせず、厳密な勾配の計算が可能であり、最適部分集合選択問題の局所最適性への迅速な収束を容易にする。 この手法は、モンテカルロをベースとしたアプローチと比較して、収束速度を大幅に改善する。 さらに,IHT や (Relaxed-) Lasso などの圧縮センシングアルゴリズムよりも幅広い設定と信号対雑音比で優れることを示す。 この実装はCPUとGPUの両方で効率的に動作し、https://github.com/L0-and-behold/probabilistic-nonlinear-csで自由に利用できる。 また, 学生ネットワークの圧縮による非線形教師ネットワークのパラメータ回復がいつ可能かを調べることで, 圧縮センシングの非線形一般化に関する研究にも貢献する。 フェーファーマンとマルケルの定理に基づいて、無限データ極限における大域的最適性が特定の対称性の回復を強制することを示す。 実験的な検証のために,各対称性クラス内の正準代表を選択する正規形式アルゴリズムを実装した。 しかし、圧縮はテスト損失を改善するのに役立ちますが、パラメータの正確な回復は対称性さえも不可能です。 特に,教師と学生の設定が最初は収束するが,連続的なテスト損失の減少にもかかわらず,その後に分岐する驚くべきリバウンド効果が観察された。 これらの結果から, 線形圧縮センシングと非線形圧縮センシングの基本的な違いが示唆された。

関連論文リスト

• Efficient compression of neural networks and datasets [0.0]
  ニューラルネットワークのパラメータ数を著しく削減する手法を比較し,改善し,貢献する。 記述長を最小化するために本手法を適用すると、非常に効率的なデータ圧縮アルゴリズムが得られる。 正規化モデルがより標本効率のよい収束を示すことができるという予測を実証的に検証する。
  論文  参考訳（メタデータ） (2025-05-23T04:50:33Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Over-the-Air Computation Aided Federated Learning with the Aggregation of Normalized Gradient [12.692064367193934]
  オーバー・ザ・エア(Over-the-air)は、フェデレートラーニング(FL)のための通信効率のよい解である。 このようなシステムでは、プライベート損失関数の反復手順を更新し、すべてのモバイルデバイスで送信する。 この問題を回避するため,局所勾配を正規化して増幅する手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T16:15:47Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• More is Less: Inducing Sparsity via Overparameterization [1.9350867959464846]
  ディープラーニングでは、ニューラルネットワークを過度にパラメータ化する、すなわち、トレーニングサンプルよりも多くのパラメータを使用することが一般的である。 驚くほど驚くべきことに、(確率的な)勾配勾配によるニューラルネットワークを一般化すると、それは非常にうまく行く。 我々の証明は、流れのあるブレグマンの発散を分析することに依存している。
  論文  参考訳（メタデータ） (2021-12-21T07:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。