論文の概要: Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks

• arxiv url: http://arxiv.org/abs/2002.07898v2
• Date: Wed, 21 Oct 2020 01:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:33:24.762413
• Title: Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks
• Title（参考訳）: ディープトランスフォーメーションとメトリック・ラーニング・ネットワーク:ウェディング・ディープ・ディクショナリー・ラーニングとニューラルネットワーク
• Authors: Wen Tang, Emilie Chouzenoux, Jean-Christophe Pesquet, and Hamid Krim
• Abstract要約: 1つの線形層とリカレントニューラルネットワーク(RNN)の組み合わせで各DL層を定式化できる新しいDDL手法を提案する。 提案する研究は,ニューラルネットワークとDDLに関する新たな知見を公開し,深層変換を共同学習するための新しい,効率的かつ競争的なアプローチと,推論アプリケーションのためのメトリクスを提供する。
• 参考スコア（独自算出の注目度）: 34.49034775978504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On account of its many successes in inference tasks and denoising applications, Dictionary Learning (DL) and its related sparse optimization problems have garnered a lot of research interest. While most solutions have focused on single layer dictionaries, the improved recently proposed Deep DL (DDL) methods have also fallen short on a number of issues. We propose herein, a novel DDL approach where each DL layer can be formulated as a combination of one linear layer and a Recurrent Neural Network (RNN). The RNN is shown to flexibly account for the layer-associated and learned metric. Our proposed work unveils new insights into Neural Networks and DDL and provides a new, efficient and competitive approach to jointly learn a deep transform and a metric for inference applications. Extensive experiments are carried out to demonstrate that the proposed method can not only outperform existing DDL but also state-of-the-art generic CNNs.
• Abstract（参考訳）: 推論タスクやデノベーションアプリケーションにおける多くの成功を踏まえて、辞書学習(DL)とその関連するスパース最適化問題は、多くの研究の関心を集めている。 ほとんどのソリューションは単層辞書に重点を置いているが、最近提案されたDeep DL(DDL)メソッドも多くの問題で不足している。 本稿では,1つの線形層とリカレントニューラルネットワーク(RNN)の組み合わせで各DL層を定式化できる新しいDDL手法を提案する。 RNNは、レイヤ関連および学習メトリクスを柔軟に説明できる。 提案する研究は,ニューラルネットワークとDDLに関する新たな知見を公開し,深層変換を共同学習するための新しい,効率的かつ競争的なアプローチと,推論アプリケーションのためのメトリクスを提供する。 提案手法が既存のddlよりも優れているだけでなく, 最先端のジェネリックcnnよりも優れていることを示すために, 広範な実験を行った。

関連論文リスト

• Piecewise Linear Neural Networks and Deep Learning [27.02556725989978]
  PieceWise Linear Neural Networks (PWLNN) は様々な分野で成功している。 1977年、標準表現は、漸進的な設計から学んだ浅いPWLNNの研究の先駆者となった。 2010年、Rectified Linear Unit (ReLU) は深層学習におけるPWLNNの普及を提唱した。
  論文  参考訳（メタデータ） (2022-06-18T08:41:42Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
  我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。 FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
  論文  参考訳（メタデータ） (2021-11-22T17:23:34Z)
• Deep Transform and Metric Learning Networks [30.753361147185995]
  本稿では,リニア層とリカレントニューラルネットワークの組み合わせとして,各dl層を定式化し,解くことができる新しい深層dl手法を提案する。 ニューラル・ネットワークとディープ・DLの新たな知見を明らかにし、ディープ・トランスフォーメーションとメトリクスを共同学習する斬新で効率的で競争的なアプローチを提供します。
  論文  参考訳（メタデータ） (2021-04-21T03:10:15Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Improved Neural Language Model Fusion for Streaming Recurrent Neural Network Transducer [28.697119605752643]
  リカレントニューラルネットワークトランスデューサ(RNN-T)は暗黙のニューラルネットワーク言語モデル(NNLM)を備えており、トレーニング中に不適切なテキストデータを容易に活用できない。 従来の研究では、この弱点に対処するため、外部NNLMをエンドツーエンドのASRに組み込む様々な融合手法が提案されている。 トレーニング時間と推論時間の両方において、RNN-Tが外部NNLMを活用できるように、これらの手法の拡張を提案する。
  論文  参考訳（メタデータ） (2020-10-26T20:10:12Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。