論文の概要: Learning DNN networks using un-rectifying ReLU with compressed sensing application

• arxiv url: http://arxiv.org/abs/2101.06940v1
• Date: Mon, 18 Jan 2021 09:04:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 05:47:21.660222
• Title: Learning DNN networks using un-rectifying ReLU with compressed sensing application
• Title（参考訳）: 圧縮センシングアプリケーションを用いた未修正ReLUを用いたDNNネットワークの学習
• Authors: Wen-Liang Hwang, Shih-Shuo Tung
• Abstract要約: この研究におけるReLUネットワークは未修正である。 実験では, 圧縮センシングリカバリ問題に対する新しいアプローチにより, 最先端の性能が得られた。
• 参考スコア（独自算出の注目度）: 4.111899441919165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The un-rectifying technique expresses a non-linear point-wise activation function as a data-dependent variable, which means that the activation variable along with its input and output can all be employed in optimization. The ReLU network in this study was un-rectified means that the activation functions could be replaced with data-dependent activation variables in the form of equations and constraints. The discrete nature of activation variables associated with un-rectifying ReLUs allows the reformulation of deep learning problems as problems of combinatorial optimization. However, we demonstrate that the optimal solution to a combinatorial optimization problem can be preserved by relaxing the discrete domains of activation variables to closed intervals. This makes it easier to learn a network using methods developed for real-domain constrained optimization. We also demonstrate that by introducing data-dependent slack variables as constraints, it is possible to optimize a network based on the augmented Lagrangian approach. This means that our method could theoretically achieve global convergence and all limit points are critical points of the learning problem. In experiments, our novel approach to solving the compressed sensing recovery problem achieved state-of-the-art performance when applied to the MNIST database and natural images.
• Abstract（参考訳）: 非修正技術は、データ依存変数として非線形のポイントワイドアクティベーション関数を表現し、その入力と出力と共にアクティベーション変数を全て最適化に利用することができる。 この研究におけるReLUネットワークは未修正であり、活性化関数を方程式や制約の形でデータ依存のアクティベーション変数に置き換えることができる。 不整合ReLUに関連するアクティベーション変数の離散的性質は、組合せ最適化の問題としてディープラーニング問題の再構成を可能にする。 しかし,活性化変数の離散領域を閉区間に緩和することにより,組合せ最適化問題の最適解が維持可能であることを示す。 これにより、実領域制約最適化のために開発された手法により、ネットワークの学習が容易になる。 また、データ依存スラック変数を制約として導入することにより、拡張ラグランジアンアプローチに基づいてネットワークを最適化できることを示す。 これは,理論上はグローバル収束を達成でき,全ての極限点が学習問題の臨界点であることを意味する。 実験では,MNISTデータベースや自然画像に適用した場合,圧縮されたセンサリカバリ問題の解法により最先端の性能が得られた。

関連論文リスト

• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Level set learning with pseudo-reversible neural networks for nonlinear dimension reduction in function approximation [8.28646586439284]
  本稿では,関数近似のための学習レベルセット(DRiLLS)を用いた次元削減手法を提案する。 提案手法は,高次元の入力変数を高次元のアクティブ変数に効果的に変換する擬似可逆ニューラルネットワーク(PRNN)モジュールである。 PRNNは、RevNetの使用によりNLL法に存在する非線形変換の可逆性制約を緩和するだけでなく、各サンプルの影響を適応的に重み付けし、学習された能動変数に対する関数の感度を制御する。
  論文  参考訳（メタデータ） (2021-12-02T17:25:34Z)
• Physics and Equality Constrained Artificial Neural Networks: Application to Partial Differential Equations [1.370633147306388]
  偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。 本稿では,この目的関数の定式化方法が,PINNアプローチにおける厳密な制約の源であることを示す。 本稿では,逆問題と前方問題の両方に対処可能な多目的フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-30T05:55:35Z)
• Differentiable Causal Discovery from Interventional Data [141.41931444927184]
  本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。 提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-07-03T15:19:17Z)
• Constrained Combinatorial Optimization with Reinforcement Learning [0.30938904602244344]
  本稿では,RL(Deep Reinforcement Learning)を用いた制約付き最適化問題に対処する枠組みを提案する。 我々は、その定式化における制約に対処するために、Neural Combinatorial Optimization(NCO)理論を拡張した。 その文脈では、ソリューションは環境との相互作用に基づいて反復的に構築されます。
  論文  参考訳（メタデータ） (2020-06-22T03:13:07Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Joint learning of variational representations and solvers for inverse problems with partially-observed data [13.984814587222811]
  本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。 変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。 これにより、データ駆動による変分モデルの発見につながる。
  論文  参考訳（メタデータ） (2020-06-05T19:53:34Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Optimizing Wireless Systems Using Unsupervised and Reinforced-Unsupervised Deep Learning [96.01176486957226]
  無線ネットワークにおけるリソース割り当てとトランシーバーは、通常最適化問題の解決によって設計される。 本稿では,変数最適化と関数最適化の両問題を解くための教師なし・教師なし学習フレームワークを紹介する。
  論文  参考訳（メタデータ） (2020-01-03T11:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。