論文の概要: Straight-Through meets Sparse Recovery: the Support Exploration Algorithm
- arxiv url: http://arxiv.org/abs/2301.13584v2
- Date: Fri, 21 Jun 2024 11:25:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 20:47:12.401697
- Title: Straight-Through meets Sparse Recovery: the Support Exploration Algorithm
- Title（参考訳）: Straight-Throughがスパースリカバリを達成 - サポート探索アルゴリズム
- Authors: Mimoun Mohamed, François Malgouyres, Valentin Emiya, Caroline Chaux,
- Abstract要約: 本稿では,スパーシリティを促進する新しいアルゴリズムであるSEA(Support Exploration Algorithm)を導入し,その性能を回復支援問題において解析する。
SEAは最先端技術よりも多くのサポートを探求し、実験において優れたパフォーマンスを実現している。
回復の十分な条件は同等だが、スパースサポートリカバリにおける最先端の条件よりも厳密である。
- 参考スコア（独自算出の注目度）: 6.12477318852572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The {\it straight-through estimator} (STE) is commonly used to optimize quantized neural networks, yet its contexts of effective performance are still unclear despite empirical successes.To make a step forward in this comprehension, we apply STE to a well-understood problem: {\it sparse support recovery}. We introduce the {\it Support Exploration Algorithm} (SEA), a novel algorithm promoting sparsity, and we analyze its performance in support recovery (a.k.a. model selection) problems. SEA explores more supports than the state-of-the-art, leading to superior performance in experiments, especially when the columns of $A$ are strongly coherent.The theoretical analysis considers recovery guarantees when the linear measurements matrix $A$ satisfies the {\it Restricted Isometry Property} (RIP).The sufficient conditions of recovery are comparable but more stringent than those of the state-of-the-art in sparse support recovery. Their significance lies mainly in their applicability to an instance of the STE.
- Abstract（参考訳）: STEは、量子化されたニューラルネットワークの最適化に一般的に使用されるが、実効性のある性能の文脈は、経験的な成功にもかかわらず不明確であり、この理解を一歩進めるために、STEをよく理解された問題に適用する: スパースサポートリカバリ。
本稿では,空間性を促進する新しいアルゴリズムであるSEA ( {\it Support Exploration Algorithm) を導入し,その性能を回復支援問題(モデル選択)で解析する。
SEAは最先端技術よりも多くのサポートを探求し、特に$A$の列が強いコヒーレントである場合、特に実験において優れたパフォーマンスをもたらす。理論解析は、線形測定行列$A$が {\it Restricted Isometry Property} (RIP)を満たすときの回復保証を考える。
回復の十分な条件は同等だが、スパースサポートリカバリにおける最先端の条件よりも厳密である。
それらの重要性は、主にSTEのインスタンスに適用可能であることである。
関連論文リスト
- High-dimensional Contextual Bandit Problem without Sparsity [8.782204980889077]
本稿では,この問題に対処し,その性能を検証するための探索列コミット(EtC)アルゴリズムを提案する。
我々は、ETCアルゴリズムの最適レートを$T$で導出し、探索とエクスプロイトのバランスをとることで、このレートを実現できることを示す。
本稿では,最適バランスを適応的に求める適応探索定理 (AEtC) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-19T15:29:32Z) - Optimal Sparse Recovery with Decision Stumps [7.24496247221802]
木に基づく手法は,多種多様な条件下で,強力な特徴選択特性が得られることを示す。
また,本分析の副産物として,アクティブ機能数$s$が不明な場合でも,回復を確実に保証できることを示す。
論文 参考訳（メタデータ） (2023-03-08T00:43:06Z) - Average case analysis of Lasso under ultra-sparse conditions [4.568911586155097]
回帰器の数が大きくなると、線形モデルに対する最小絶対収縮・選択演算子(Lasso)の性能を解析する。
完全サポート回復のための得られた境界は、以前の文献で与えられたものを一般化したものである。
論文 参考訳（メタデータ） (2023-02-25T14:50:32Z) - Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
我々は、$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。
マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE ($l_1/l$-regularized maximum chance estimator) を提案する。
理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
論文 参考訳（メタデータ） (2021-11-03T22:10:18Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳（メタデータ） (2021-07-23T19:38:17Z) - A Precise Performance Analysis of Support Vector Regression [105.94855998235232]
我々は,n$の線形測定に応用したハードおよびソフトサポートベクター回帰法について検討した。
得られた結果は、ハードおよびソフトサポートベクトル回帰アルゴリズムの設計に介入するパラメータを最適に調整するために使用される。
論文 参考訳（メタデータ） (2021-05-21T14:26:28Z) - Globally-convergent Iteratively Reweighted Least Squares for Robust
Regression Problems [15.823258699608994]
我々は、ロバスト回帰問題に対するIRLS(暫定的に重み付けされた最小二乗)に対する最初のグローバルモデル回復結果を提供する。
我々は、保証されたグローバルリカバリを提供するだけでなく、実際にロバストレグレッションのための最先端のアルゴリズムよりも優れている基本IRLSルーチンの拡張を提案する。
論文 参考訳（メタデータ） (2020-06-25T07:16:13Z) - Robust Compressed Sensing using Generative Models [98.64228459705859]
本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。
我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
論文 参考訳（メタデータ） (2020-06-16T19:07:41Z) - On the Convergence Rate of Projected Gradient Descent for a
Back-Projection based Objective [58.33065918353532]
我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。
LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
論文 参考訳（メタデータ） (2020-05-03T00:58:23Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。