論文の概要: Optimal Vector Compressed Sensing Using James Stein Shrinkage

• arxiv url: http://arxiv.org/abs/2505.00326v1
• Date: Thu, 01 May 2025 05:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.241275
• Title: Optimal Vector Compressed Sensing Using James Stein Shrinkage
• Title（参考訳）: James Stein Shrinkage を用いた最適ベクトル圧縮センシング
• Authors: Apratim Dey, David Donoho,
• Abstract要約: SteinSenseは軽量な反復アルゴリズムで、$B$が大きければ確実に最適である。 チューニングパラメータは一切必要とせず、トレーニングデータも必要とせず、スパーシティに関する知識も必要とせず、実装も恥ずかしいほど簡単です。 我々は、SteinSenseの有効性を確認するために、実・合成両方の実験を大量に実施する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The trend in modern science and technology is to take vector measurements rather than scalars, ruthlessly scaling to ever higher dimensional vectors. For about two decades now, traditional scalar Compressed Sensing has been synonymous with a Convex Optimization based procedure called Basis Pursuit. In the vector recovery case, the natural tendency is to return to a straightforward vector extension of Basis Pursuit, also based on Convex Optimization. However, Convex Optimization is provably suboptimal, particularly when $B$ is large. In this paper, we propose SteinSense, a lightweight iterative algorithm, which is provably optimal when $B$ is large. It does not have any tuning parameter, does not need any training data, requires zero knowledge of sparsity, is embarrassingly simple to implement, and all of this makes it easily scalable to high vector dimensions. We conduct a massive volume of both real and synthetic experiments that confirm the efficacy of SteinSense, and also provide theoretical justification based on ideas from Approximate Message Passing. Fascinatingly, we discover that SteinSense is quite robust, delivering the same quality of performance on real data, and even under substantial departures from conditions under which existing theory holds.
• Abstract（参考訳）: 現代の科学と技術のトレンドは、スカラーではなくベクトルの測定を、より高次元のベクトルに冷酷にスケーリングすることだ。 20年ほど前から、従来のスカラー圧縮センシングは、Basis Pursuitと呼ばれるConvex Optimizationベースのプロシージャと同義語となっている。 ベクトル回復の場合、自然な傾向は、コンベックス最適化(英語版)にもとづいて、ベーシス・パースーツの直交ベクトル拡大に戻すことである。 しかし、Convex Optimizationは、特に$B$が大きければ、確実に準最適である。 本稿では,SteinSenseを提案する。SteinSenseは,B$が大きければ確実に最適である。 チューニングパラメータは一切必要とせず、トレーニングデータも必要とせず、スパーシティの知識も必要とせず、実装も恥ずかしく簡単で、高ベクトル次元へのスケーラビリティも容易である。 我々は、SteinSenseの有効性を確認し、また、近似メッセージパッシングのアイデアに基づいた理論的正当性を提供する、実・合成両方の実験を大量に実施する。 興味深いことに、SteinSenseは非常に堅牢で、実際のデータに同じ品質のパフォーマンスを提供し、既存の理論が持つ条件からかなり離れていることに気付きました。

関連論文リスト

• Sparsity-Constraint Optimization via Splicing Iteration [1.3622424109977902]
  我々は sPlicing itEration (SCOPE) を用いたスペーサリティ制約最適化アルゴリズムを開発した。 SCOPEはパラメータをチューニングせずに効率的に収束する。 SCOPEを用いて2次最適化を解き、スパース分類器を学習し、バイナリ変数のスパースマルコフネットワークを復元する。 C++実装に基づいたオープンソースのPythonパッケージskscopeがGitHubで公開されている。
  論文  参考訳（メタデータ） (2024-06-17T18:34:51Z)
• Gradient Compressed Sensing: A Query-Efficient Gradient Estimator for High-Dimensional Zeroth-Order Optimization [48.84672493756553]
  我々は,1ステップあたり$Obig(slogfrac dsbig)$クエリのみを使用する勾配のクエリ効率と精度の高い推定器を提案する。 Indyk-Price-Woodruff (IPW) アルゴリズムを線形測定から非線形関数への圧縮センシングにおいて一般化した。
  論文  参考訳（メタデータ） (2024-05-27T03:52:53Z)
• Optimal and Near-Optimal Adaptive Vector Quantization [16.628351691108687]
  量子化は、圧縮、モデルウェイトとアクティベーション、データセットを含む多くの機械学習ユースケースの基本的な最適化である。 本稿では,適応ベクトル量子化(AVQ)問題を再検討し,時間と空間の複雑さを改善した最適解を求めるアルゴリズムを提案する。 我々のアルゴリズムは、さまざまな機械学習アプリケーションでより広範囲にAVQを使用するための扉を開く可能性がある。
  論文  参考訳（メタデータ） (2024-02-05T16:27:59Z)
• Fast Optimization of Weighted Sparse Decision Trees for use in Optimal Treatment Regimes and Optimal Policy Design [16.512942230284576]
  本稿では,効率的な重み付き決定木最適化のための3つのアルゴリズムを提案する。 最初のアプローチでは、重み付き損失関数を直接最適化するが、大規模なデータセットでは計算的に非効率である傾向がある。 第二のアプローチは、より効率的にスケールし、重みを整数値に変換し、データ重複を使って重み付けされた決定木最適化問題を非重み付き(より大きい)問題に変換する。 より大きなデータセットにスケールする第3のアルゴリズムは、各データポイントをその重みに比例した確率でサンプリングするランダム化された手順を使用する。
  論文  参考訳（メタデータ） (2022-10-13T08:16:03Z)
• Momentum Stiefel Optimizer, with Applications to Suitably-Orthogonal Attention, and Optimal Transport [18.717832661972896]
  新しいアプローチは、思慮深い設計の連続力学と離散力学の相互作用に基づいて、初めて提案される。 方法は多様体の構造を正確に保存するが、一般的に使われる射影や引き抜きを必要としない。 適応学習率への一般化も示されている。
  論文  参考訳（メタデータ） (2022-05-27T18:01:45Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Projection Robust Wasserstein Distance and Riemannian Optimization [107.93250306339694]
  プロジェクション・ソリッドスタイン(PRW)は、ワッサーシュタイン・プロジェクション(WPP)のロバストな変種であることを示す。 本稿では,PRW距離の計算への第一歩として,その理論と実データに関する実験の関連について述べる。
  論文  参考訳（メタデータ） (2020-06-12T20:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。