論文の概要: Gradient-Based Learning of Discrete Structured Measurement Operators for
Signal Recovery
- arxiv url: http://arxiv.org/abs/2202.03391v1
- Date: Mon, 7 Feb 2022 18:27:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 19:30:10.411034
- Title: Gradient-Based Learning of Discrete Structured Measurement Operators for
Signal Recovery
- Title（参考訳）: 信号回復のための離散構造計測演算子の勾配学習
- Authors: Jonathan Sauder and Martin Genzel and Peter Jung
- Abstract要約: 本稿では、勾配に基づく学習を利用して離散最適化問題を解く方法について述べる。
GLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators) によるアプローチの定式化
いくつかの信号回復アプリケーションにおいて,GLODISMOの性能と柔軟性を実証的に示す。
- 参考スコア（独自算出の注目度）: 16.740247586153085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Countless signal processing applications include the reconstruction of
signals from few indirect linear measurements. The design of effective
measurement operators is typically constrained by the underlying hardware and
physics, posing a challenging and often even discrete optimization task. While
the potential of gradient-based learning via the unrolling of iterative
recovery algorithms has been demonstrated, it has remained unclear how to
leverage this technique when the set of admissible measurement operators is
structured and discrete. We tackle this problem by combining unrolled
optimization with Gumbel reparametrizations, which enable the computation of
low-variance gradient estimates of categorical random variables. Our approach
is formalized by GLODISMO (Gradient-based Learning of DIscrete Structured
Measurement Operators). This novel method is easy-to-implement, computationally
efficient, and extendable due to its compatibility with automatic
differentiation. We empirically demonstrate the performance and flexibility of
GLODISMO in several prototypical signal recovery applications, verifying that
the learned measurement matrices outperform conventional designs based on
randomization as well as discrete optimization baselines.
- Abstract（参考訳）: 無数の信号処理用途には、少数の間接線形測定からの信号の再構成が含まれる。
効果的な測定演算子の設計は、通常、ハードウェアと物理によって制限され、挑戦的でしばしば離散的な最適化タスクとなる。
反復的回復アルゴリズムの展開による勾配学習の可能性は実証されているが、許容可能な測定演算子の集合が構造化され離散化されている場合、この手法をどのように活用するかは未だ不明である。
Gumbel再パラメータ化とアンロール最適化を組み合わせることでこの問題に対処し、分類確率変数の低分散勾配推定の計算を可能にする。
本手法はGLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators)によって定式化されている。
この手法は実装が容易で、計算効率が高く、自動微分と互換性があるため拡張可能である。
我々は,glodismoの性能と柔軟性を実証的に実証し,学習行列がランダム化に基づく従来の設計や離散最適化ベースラインよりも優れていることを検証した。
関連論文リスト
- Learning signals defined on graphs with optimal transport and Gaussian process regression [1.1062090350704616]
計算物理学において、機械学習は工学研究における効率的な候補設計を探索するための強力な補完ツールとして登場した。
本稿では,入力が大きく,連続ノード属性を持つ疎グラフと,関連する入力のノード上で定義された信号が出力となるガウス過程回帰の革新的な戦略を提案する。
信号予測の実現に加えて,提案手法の要点は,不確実性や能動学習に欠かせないノード値に対する信頼区間を持つことである。
論文 参考訳（メタデータ） (2024-10-21T07:39:44Z) - Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks [15.074950361970194]
我々は、IRLS、最近提案されたリンリン-RFMアルゴリズム、交互対角ニューラルネットワークを含むアルゴリズム群を統一的に分析する。
適切に選択された再重み付けポリシーにより、少数のスパース構造が良好な性能が得られることを示す。
また、これを再重み付け方式で活用することで、座標ワイド再重み付けよりもテスト誤差が良好に向上することを示す。
論文 参考訳（メタデータ） (2024-06-04T20:37:17Z) - Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。
大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
論文 参考訳（メタデータ） (2023-10-09T14:30:06Z) - Regularization, early-stopping and dreaming: a Hopfield-like setup to
address generalization and overfitting [0.0]
正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。
この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
論文 参考訳（メタデータ） (2023-08-01T15:04:30Z) - Bayesian Spline Learning for Equation Discovery of Nonlinear Dynamics
with Quantified Uncertainty [8.815974147041048]
本研究では,非線形(時空間)力学の擬似的支配方程式を,定量化された不確実性を伴うスパースノイズデータから同定する枠組みを開発した。
提案アルゴリズムは、正準常微分方程式と偏微分方程式によって制御される複数の非線形力学系に対して評価される。
論文 参考訳（メタデータ） (2022-10-14T20:37:36Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Investigating the Scalability and Biological Plausibility of the
Activation Relaxation Algorithm [62.997667081978825]
アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。
このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。
また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
論文 参考訳（メタデータ） (2020-10-13T08:02:38Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。