論文の概要: Deep Transform and Metric Learning Networks
- arxiv url: http://arxiv.org/abs/2104.10329v1
- Date: Wed, 21 Apr 2021 03:10:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 23:06:17.951385
- Title: Deep Transform and Metric Learning Networks
- Title(参考訳): ディープトランスフォーメーションとメトリック学習ネットワーク
- Authors: Wen Tang, Emilie Chouzenoux, Jean-Christophe Pesquet, and Hamid Krim
- Abstract要約: 本稿では,リニア層とリカレントニューラルネットワークの組み合わせとして,各dl層を定式化し,解くことができる新しい深層dl手法を提案する。
ニューラル・ネットワークとディープ・DLの新たな知見を明らかにし、ディープ・トランスフォーメーションとメトリクスを共同学習する斬新で効率的で競争的なアプローチを提供します。
- 参考スコア(独自算出の注目度): 30.753361147185995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Based on its great successes in inference and denosing tasks, Dictionary
Learning (DL) and its related sparse optimization formulations have garnered a
lot of research interest. While most solutions have focused on single layer
dictionaries, the recently improved Deep DL methods have also fallen short on a
number of issues. We hence propose a novel Deep DL approach where each DL layer
can be formulated and solved as a combination of one linear layer and a
Recurrent Neural Network, where the RNN is flexibly regraded as a
layer-associated learned metric. Our proposed work unveils new insights between
the Neural Networks and Deep DL, and provides a novel, efficient and
competitive approach to jointly learn the deep transforms and metrics.
Extensive experiments are carried out to demonstrate that the proposed method
can not only outperform existing Deep DL, but also state-of-the-art generic
Convolutional Neural Networks.
- Abstract(参考訳): 辞書学習(DL)とそれに関連するスパース最適化の定式化は、推論とデノシングタスクにおける大きな成功に基づいて、多くの研究の関心を集めている。
ほとんどのソリューションは単層辞書に重点を置いているが、最近改良されたDeep DLメソッドもいくつかの問題で不足している。
そこで我々は,各DL層を1つの線形層とリカレントニューラルネットワークの組み合わせとして定式化して解き,RNNをレイヤ関連学習指標として柔軟に分解する,新しいDeep DLアプローチを提案する。
提案する研究は、ニューラルネットワークと深層dlの新たな洞察を明らかにし、ディープトランスフォーメーションとメトリクスを共同で学習するための、新しい、効率的で競争力のあるアプローチを提供します。
提案手法が既存の深層dlよりも優れるだけでなく,最先端の汎用畳み込みニューラルネットワークよりも優れていることを示すために,広範な実験を行った。
関連論文リスト
- Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。
このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。
アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
論文 参考訳(メタデータ) (2024-09-25T14:12:50Z) - FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。
FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
論文 参考訳(メタデータ) (2021-11-22T17:23:34Z) - All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文 参考訳(メタデータ) (2021-03-02T03:09:03Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳(メタデータ) (2021-02-03T09:30:45Z) - Solving Sparse Linear Inverse Problems in Communication Systems: A Deep
Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。
提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文 参考訳(メタデータ) (2020-10-29T06:32:53Z) - Meta-Learning with Network Pruning [40.07436648243748]
本稿では,ネットワークのキャパシティを明示的に制御することで,ネットワークプルーニングに基づくメタラーニング手法を提案する。
我々はDense-Sparse-Dense (DSD) と Iterative Hard Thresholding (IHT) の2つのネットワークプルーニングルーチンを組み込んだReptile上でのアプローチを実装した。
論文 参考訳(メタデータ) (2020-07-07T06:13:11Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z) - Deep Transform and Metric Learning Network: Wedding Deep Dictionary
Learning and Neural Networks [34.49034775978504]
1つの線形層とリカレントニューラルネットワーク(RNN)の組み合わせで各DL層を定式化できる新しいDDL手法を提案する。
提案する研究は,ニューラルネットワークとDDLに関する新たな知見を公開し,深層変換を共同学習するための新しい,効率的かつ競争的なアプローチと,推論アプリケーションのためのメトリクスを提供する。
論文 参考訳(メタデータ) (2020-02-18T22:04:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。