論文の概要: Gradient-Based Learning of Discrete Structured Measurement Operators for
Signal Recovery
- arxiv url: http://arxiv.org/abs/2202.03391v1
- Date: Mon, 7 Feb 2022 18:27:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 19:30:10.411034
- Title: Gradient-Based Learning of Discrete Structured Measurement Operators for
Signal Recovery
- Title(参考訳): 信号回復のための離散構造計測演算子の勾配学習
- Authors: Jonathan Sauder and Martin Genzel and Peter Jung
- Abstract要約: 本稿では、勾配に基づく学習を利用して離散最適化問題を解く方法について述べる。
GLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators) によるアプローチの定式化
いくつかの信号回復アプリケーションにおいて,GLODISMOの性能と柔軟性を実証的に示す。
- 参考スコア(独自算出の注目度): 16.740247586153085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Countless signal processing applications include the reconstruction of
signals from few indirect linear measurements. The design of effective
measurement operators is typically constrained by the underlying hardware and
physics, posing a challenging and often even discrete optimization task. While
the potential of gradient-based learning via the unrolling of iterative
recovery algorithms has been demonstrated, it has remained unclear how to
leverage this technique when the set of admissible measurement operators is
structured and discrete. We tackle this problem by combining unrolled
optimization with Gumbel reparametrizations, which enable the computation of
low-variance gradient estimates of categorical random variables. Our approach
is formalized by GLODISMO (Gradient-based Learning of DIscrete Structured
Measurement Operators). This novel method is easy-to-implement, computationally
efficient, and extendable due to its compatibility with automatic
differentiation. We empirically demonstrate the performance and flexibility of
GLODISMO in several prototypical signal recovery applications, verifying that
the learned measurement matrices outperform conventional designs based on
randomization as well as discrete optimization baselines.
- Abstract(参考訳): 無数の信号処理用途には、少数の間接線形測定からの信号の再構成が含まれる。
効果的な測定演算子の設計は、通常、ハードウェアと物理によって制限され、挑戦的でしばしば離散的な最適化タスクとなる。
反復的回復アルゴリズムの展開による勾配学習の可能性は実証されているが、許容可能な測定演算子の集合が構造化され離散化されている場合、この手法をどのように活用するかは未だ不明である。
Gumbel再パラメータ化とアンロール最適化を組み合わせることでこの問題に対処し、分類確率変数の低分散勾配推定の計算を可能にする。
本手法はGLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators)によって定式化されている。
この手法は実装が容易で、計算効率が高く、自動微分と互換性があるため拡張可能である。
我々は,glodismoの性能と柔軟性を実証的に実証し,学習行列がランダム化に基づく従来の設計や離散最適化ベースラインよりも優れていることを検証した。
関連論文リスト
- Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。
大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
論文 参考訳(メタデータ) (2023-10-09T14:30:06Z) - Regularization, early-stopping and dreaming: a Hopfield-like setup to
address generalization and overfitting [0.0]
正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。
この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
論文 参考訳(メタデータ) (2023-08-01T15:04:30Z) - Bayesian Spline Learning for Equation Discovery of Nonlinear Dynamics
with Quantified Uncertainty [8.815974147041048]
本研究では,非線形(時空間)力学の擬似的支配方程式を,定量化された不確実性を伴うスパースノイズデータから同定する枠組みを開発した。
提案アルゴリズムは、正準常微分方程式と偏微分方程式によって制御される複数の非線形力学系に対して評価される。
論文 参考訳(メタデータ) (2022-10-14T20:37:36Z) - A Causality-Based Learning Approach for Discovering the Underlying
Dynamics of Complex Systems from Partial Observations with Stochastic
Parameterization [1.2882319878552302]
本稿では,部分的な観測を伴う複雑な乱流系の反復学習アルゴリズムを提案する。
モデル構造を識別し、観測されていない変数を復元し、パラメータを推定する。
数値実験により、新しいアルゴリズムはモデル構造を同定し、多くの複雑な非線形系に対して適切なパラメータ化を提供することに成功した。
論文 参考訳(メタデータ) (2022-08-19T00:35:03Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Practical Convex Formulation of Robust One-hidden-layer Neural Network
Training [12.71266194474117]
本研究では,一層型スカラーアウトプット完全接続型ReLULUニューラルネットワークのトレーニングを,有限次元凸プログラムとして再構成可能であることを示す。
我々は「敵の訓練」問題を効率的に解くために凸最適化手法を導出する。
本手法は二項分類と回帰に応用でき、現在の対角訓練法に代わる手段を提供する。
論文 参考訳(メタデータ) (2021-05-25T22:06:27Z) - Investigating the Scalability and Biological Plausibility of the
Activation Relaxation Algorithm [62.997667081978825]
アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。
このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。
また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
論文 参考訳(メタデータ) (2020-10-13T08:02:38Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳(メタデータ) (2020-09-11T11:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。