Fugu-MT 論文翻訳(概要): Fundamental limits and algorithms for sparse linear regression with sublinear sparsity

論文の概要: Fundamental limits and algorithms for sparse linear regression with sublinear sparsity

arxiv url: http://arxiv.org/abs/2101.11156v6
Date: Sat, 8 Apr 2023 20:17:56 GMT
ステータス: 処理完了
システム内更新日: 2023-04-12 01:08:18.746014
Title: Fundamental limits and algorithms for sparse linear regression with sublinear sparsity
Title（参考訳）: 部分線形スパルシリティをもつスパース線形回帰の基本限界とアルゴリズム
Authors: Lan V. Truong
Abstract要約: 正規化相互情報の正確な表現と疎線形回帰の最小平均二乗誤差(MMSE)を確立する。本稿では、線形レギュレータに対して、既存のよく知られたAMPアルゴリズムをサブ線形に修正する方法を示す。
参考スコア（独自算出の注目度）: 16.3460693863947
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We establish exact asymptotic expressions for the normalized mutual information and minimum mean-square-error (MMSE) of sparse linear regression in the sub-linear sparsity regime. Our result is achieved by a generalization of the adaptive interpolation method in Bayesian inference for linear regimes to sub-linear ones. A modification of the well-known approximate message passing algorithm to approach the MMSE fundamental limit is also proposed, and its state evolution is rigorously analyzed. Our results show that the traditional linear assumption between the signal dimension and number of observations in the replica and adaptive interpolation methods is not necessary for sparse signals. They also show how to modify the existing well-known AMP algorithms for linear regimes to sub-linear ones.
Abstract（参考訳）: 我々は, 正規化相互情報と疎線形回帰の最小平均二乗誤差(MMSE)に対して, 高精度な漸近表現を確立した。この結果は,線形レジームに対するベイズ推定における適応補間法の一般化によって得られた。 mmseの基本限界に近づくためのよく知られた近似メッセージパッシングアルゴリズムの修正も提案され、その状態進化は厳密に解析される。その結果, 信号次元と観測回数の従来の線形仮定と, 適応補間法ではスパース信号は不要であることがわかった。また、既存の良く知られたampアルゴリズムを線形レジームからサブリニアに修正する方法も示している。

関連論文リスト

Global Convergence of Online Identification for Mixed Linear Regression [1.9295130374196499]
混合線形回帰(MLR)は非線形関係を特徴づける強力なモデルである。本稿では,MLRの2つの基本クラスにおけるオンライン識別とデータクラスタリングの問題について検討する。期待最大化原理に基づく新しいオンライン識別アルゴリズムを2つ導入する。
論文参考訳（メタデータ） (2023-11-30T12:30:42Z)
Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文参考訳（メタデータ） (2023-05-31T03:48:49Z)
Discrete-Time Nonlinear Feedback Linearization via Physics-Informed Machine Learning [0.0]
非線形システムのフィードバック線形化のための物理インフォームド機械学習手法を提案する。提案したPIMLは従来の数値実装よりも優れていることを示す。
論文参考訳（メタデータ） (2023-03-15T19:03:23Z)
Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
論文参考訳（メタデータ） (2022-12-29T18:25:01Z)
Linear Convergence of Natural Policy Gradient Methods with Log-Linear Policies [115.86431674214282]
我々は、無限水平割引マルコフ決定過程を考察し、自然政策勾配(NPG)とQ-NPG法の収束率を対数線形ポリシークラスで検討する。両手法が線形収束率と $mathcalO (1/epsilon2)$サンプル複雑度を, 単純で非適応的な幾何的に増加するステップサイズを用いて達成できることを示す。
論文参考訳（メタデータ） (2022-10-04T06:17:52Z)
On Optimal Interpolation In Linear Regression [22.310861786709538]
線形回帰において補間する最適な方法は、応答変数において線形となる関数を使用することである。我々は,最小ノルム補間器が最適応答-線形到達可能な補間器よりも任意に悪い一般化を行う機構を同定する。我々は、線形データ生成モデルの下で、最適応答リニアの概念をランダムな特徴回帰に拡張する。
論文参考訳（メタデータ） (2021-10-21T16:37:10Z)
Predicting Flat-Fading Channels via Meta-Learned Closed-Form Linear Filters and Equilibrium Propagation [38.42468500092177]
フェーディングチャネルの予測は、様々なアプリケーションにおいて古典的な問題である。実際、ドップラースペクトルは未知であり、予測器は推定チャネルの限られた時系列にしかアクセスできない。本稿では,チャネルフェード予測のためのトレーニングデータの観点から,メタラーニングを活用して要件を緩和することを提案する。
論文参考訳（メタデータ） (2021-10-01T14:00:23Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
To Each Optimizer a Norm, To Each Norm its Generalization [31.682969645989512]
過度なパラメータ化と過度なパラメータ化の条件下でのトレーニングデータを補間する線形モデルに対する最適化手法の暗黙的な正規化について検討する。我々は、標準最大値 l2-margin への収束解析は任意であり、データによって誘導されるノルムの最小化がより良い一般化をもたらすことを示す。
論文参考訳（メタデータ） (2020-06-11T21:07:38Z)
Multiscale Non-stationary Stochastic Bandits [83.48992319018147]
本稿では,非定常線形帯域問題に対して,Multiscale-LinUCBと呼ばれる新しいマルチスケール変更点検出法を提案する。実験結果から,提案手法は非定常環境下での他の最先端アルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-02-13T00:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。