論文の概要: Unsupervised Deep Learning by Injecting Low-Rank and Sparse Priors

• arxiv url: http://arxiv.org/abs/2106.10923v1
• Date: Mon, 21 Jun 2021 08:41:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:17:08.305292
• Title: Unsupervised Deep Learning by Injecting Low-Rank and Sparse Priors
• Title（参考訳）: 低ランク・スパースプリデント注入による教師なし深層学習
• Authors: Tomoya Sakai
• Abstract要約: 我々は,高次元データの性質を簡潔に捉えるために,深層学習に疎結合を取り入れることに重点を置いている。 低ランクおよびスパース先行値を用いたバックグラウンドサブトラクションのための教師なしU-Net学習を実演する。
• 参考スコア（独自算出の注目度）: 5.5586788751870175
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: What if deep neural networks can learn from sparsity-inducing priors? When the networks are designed by combining layer modules (CNN, RNN, etc), engineers less exploit the inductive bias, i.e., existing well-known rules or prior knowledge, other than annotated training data sets. We focus on employing sparsity-inducing priors in deep learning to encourage the network to concisely capture the nature of high-dimensional data in an unsupervised way. In order to use non-differentiable sparsity-inducing norms as loss functions, we plug their proximal mappings into the automatic differentiation framework. We demonstrate unsupervised learning of U-Net for background subtraction using low-rank and sparse priors. The U-Net can learn moving objects in a training sequence without any annotation, and successfully detect the foreground objects in test sequences.
• Abstract（参考訳）: 深層ニューラルネットワークがスパーシティ誘導優先から学べるとしたらどうだろう? ネットワークがレイヤーモジュール(CNN、RNNなど)を組み合わせることで設計される場合、エンジニアは、注釈付きトレーニングデータセット以外の既存のよく知られたルールや事前知識といった誘導バイアスをあまり利用しない。 我々は、ネットワークが教師なしの方法で高次元データの性質を簡潔に捉えることを奨励するために、深層学習に疎結合に先立って採用することに注力する。 非微分可能空間誘導ノルムを損失関数として使用するために、それらの近位写像を自動微分フレームワークにプラグインする。 背景減算のためのu-netの教師なし学習を低ランクとスパースプリミティブを用いて実演する。 U-Netは、アノテーションなしでトレーニングシーケンスで動くオブジェクトを学習し、テストシーケンスで前景オブジェクトを正常に検出できる。

関連論文リスト

• Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning [14.792099973449794]
  本稿では,スパースネットワークのトレーニングダイナミクスと高密度ネットワークのトレーニングダイナミクスを一致させるアルゴリズムを提案する。 NTKスペクトルにおける通常無視されるデータ依存成分がどのように考慮されるかを示す。 パスeXclusion(PX)は、高頻度でも宝くじを見つけることができる。
  論文  参考訳（メタデータ） (2024-06-03T22:19:42Z)
• LNPT: Label-free Network Pruning and Training [18.535687216213624]
  トレーニング前のプルーニングは、ニューラルネットワークをスマートデバイスにデプロイすることを可能にする。 我々は,クラウド上の成熟したネットワークが,ラベルのないデータを持つスマートデバイス上でのネットワークプルーニングと学習のオンラインガイダンスを提供するための,新しい学習フレームワーク LNPT を提案する。
  論文  参考訳（メタデータ） (2024-03-19T12:49:09Z)
• Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
  ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。 チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。 提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
  論文  参考訳（メタデータ） (2023-05-30T23:33:45Z)
• What Can We Learn from Unlearnable Datasets? [107.12337511216228]
  学習不可能なデータセットは、ディープニューラルネットワークの一般化を防ぐことによって、データのプライバシを保護する可能性がある。 学習不可能なデータセットでトレーニングされたニューラルネットワークは、一般化には役に立たない単純なルールであるショートカットのみを学ぶと広く信じられている。 これとは対照的に,ネットワークは高いテスト性能を期待できる有用な特徴を実際に学習することができ,画像保護が保証されていないことを示唆している。
  論文  参考訳（メタデータ） (2023-05-30T17:41:35Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)
• A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow [0.0]
  二成分アクティベーションを用いたスパイクタイミング依存塑性(STDP)の教師なし学習技術は、スパイク入力データから特徴を抽出するために用いられる。 バランスの取れたEMNISTデータセットに対するアキュラシーは、他のアプローチと好意的に比較した。
  論文  参考訳（メタデータ） (2020-02-26T23:47:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。