論文の概要: When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning
and Coding Network for Image Recognition with Limited Data
- arxiv url: http://arxiv.org/abs/2005.10940v1
- Date: Thu, 21 May 2020 23:12:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 23:20:43.940779
- Title: When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning
and Coding Network for Image Recognition with Limited Data
- Title(参考訳): 辞書学習とディープラーニング: 限られたデータを用いた画像認識のためのディープ辞書学習と符号化ネットワーク
- Authors: Hao Tang, Hong Liu, Wei Xiao, Nicu Sebe
- Abstract要約: 本稿では,限られたデータを用いた画像認識タスクのための新しいDeep Dictionary Learning and Coding Network(DDLCN)を提案する。
DDLCNをいくつかの主要な辞書学習手法と深層学習モデルと比較した。
5つの一般的なデータセットに対する実験結果から,DDLCNはトレーニングデータに制限がある場合の最先端手法と比較して,競合的な結果が得られることが示された。
- 参考スコア(独自算出の注目度): 74.75557280245643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new Deep Dictionary Learning and Coding Network (DDLCN) for
image recognition tasks with limited data. The proposed DDLCN has most of the
standard deep learning layers (e.g., input/output, pooling, fully connected,
etc.), but the fundamental convolutional layers are replaced by our proposed
compound dictionary learning and coding layers. The dictionary learning learns
an over-complete dictionary for input training data. At the deep coding layer,
a locality constraint is added to guarantee that the activated dictionary bases
are close to each other. Then the activated dictionary atoms are assembled and
passed to the compound dictionary learning and coding layers. In this way, the
activated atoms in the first layer can be represented by the deeper atoms in
the second dictionary. Intuitively, the second dictionary is designed to learn
the fine-grained components shared among the input dictionary atoms, thus a
more informative and discriminative low-level representation of the dictionary
atoms can be obtained. We empirically compare DDLCN with several leading
dictionary learning methods and deep learning models. Experimental results on
five popular datasets show that DDLCN achieves competitive results compared
with state-of-the-art methods when the training data is limited. Code is
available at https://github.com/Ha0Tang/DDLCN.
- Abstract(参考訳): 本稿では,限られたデータを用いた画像認識タスクのための新しいDeep Dictionary Learning and Coding Network(DDLCN)を提案する。
提案したDDLCNは、標準的なディープラーニング層(例えば、入出力、プーリング、完全接続など)をほとんど持っているが、基本的な畳み込み層は、提案した複合辞書学習と符号化層に置き換えられる。
辞書学習は、入力訓練データのための過剰完全辞書を学習する。
深層符号化層では、活性化辞書ベースが互いに近接していることを保証するために局所性制約が付加される。
そして、活性化辞書原子が組み立てられ、複合辞書学習及び符号化層に渡される。
このようにして、第1層の活性化原子は第2辞書のより深い原子によって表される。
直感的には、第2辞書は入力辞書原子間で共有されるきめ細かい成分を学習するように設計されており、辞書原子のより情報的で識別性の高い低レベル表現を得ることができる。
DDLCNをいくつかの主要な辞書学習手法と深層学習モデルと比較した。
5つの一般的なデータセットに対する実験結果から,DDLCNはトレーニングデータに制限がある場合の最先端手法と比較して,競合的な結果が得られることが示された。
コードはhttps://github.com/Ha0Tang/DDLCNで入手できる。
関連論文リスト
- Low Rank Multi-Dictionary Selection at Scale [5.827700856320355]
LRMDSという低ランクスパース符号化のための多次元原子選択手法を提案する。
我々は,合成データセットと実世界のデータセットの両方において,LRMDSのスケーラビリティを実証する。
論文 参考訳(メタデータ) (2024-06-11T05:40:45Z) - Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic
Interpretability: A Case Study on Othello-GPT [59.245414547751636]
本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。
当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。
我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
論文 参考訳(メタデータ) (2024-02-19T15:04:53Z) - Incorporating Dictionaries into a Neural Network Architecture to Extract
COVID-19 Medical Concepts From Social Media [0.2302001830524133]
自然言語処理のためのニューラルネットワークアーキテクチャに辞書情報を組み込むことの潜在的な利点について検討する。
特に、このアーキテクチャを用いて、オンライン医療フォーラムからCOVID-19に関連するいくつかの概念を抽出する。
この結果から,小ドメイン辞書を深層学習モデルに組み込むことで,概念抽出作業の改善が期待できることがわかった。
論文 参考訳(メタデータ) (2023-09-05T12:47:44Z) - Hiding Data Helps: On the Benefits of Masking for Sparse Coding [22.712098918769243]
ノイズの存在下では,標準辞書学習目標の最小化は,過度に実現された体制下での接地真実辞書の要素の回復に失敗する可能性があることを示す。
本稿では,大規模なデータ生成プロセスにおいて,信号が増大するにつれて,基底構造辞書の復元が事実上最適となる新しいマスキング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T16:16:19Z) - Efficient CNN with uncorrelated Bag of Features pooling [98.78384185493624]
Bag of Features (BoF)は、畳み込み層の複雑さを軽減するために最近提案されている。
本稿では,BoFプーリング上に構築した手法を用いて,学習辞書の項目が非冗長であることを保証する。
提案した戦略は、BoFの効率的な変種を生成し、追加のパラメータを使わずにその性能をさらに向上させる。
論文 参考訳(メタデータ) (2022-09-22T09:00:30Z) - DetCLIP: Dictionary-Enriched Visual-Concept Paralleled Pre-training for
Open-world Detection [118.36746273425354]
本稿では,デザインされた概念辞書から知識の豊かさを生かして,オープンワールド検出のための並列視覚概念事前学習手法を提案する。
概念をそれらの記述で豊かにすることにより、オープンドメイン学習を促進するために、さまざまな概念間の関係を明確に構築する。
提案フレームワークは、例えばLVISデータセット上で、強力なゼロショット検出性能を示し、私たちのDetCLIP-TはGLIP-Tを9.9%向上させ、レアカテゴリで13.5%改善した。
論文 参考訳(メタデータ) (2022-09-20T02:01:01Z) - Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。
我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。
実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
論文 参考訳(メタデータ) (2022-07-08T05:07:19Z) - CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。
ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。
バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
論文 参考訳(メタデータ) (2022-01-26T10:54:30Z) - PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。
我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。
合成および画像復号化実験により,本研究の成果を補完する。
論文 参考訳(メタデータ) (2021-05-31T18:49:58Z) - Learning Deep Analysis Dictionaries -- Part II: Convolutional
Dictionaries [38.7315182732103]
非構造化辞書の代わりに畳み込み辞書を学習するディープ畳み込み解析辞書モデル(DeepCAM)を導入する。
L層DeepCAMは、畳み込み解析辞書のL層と、要素単位のソフトスレッディングペアから構成される。
We demonstrate that DeepCAM is a effective multilayer convolutional model and on single image super- resolution, achieves performance comparable with other method。
論文 参考訳(メタデータ) (2020-01-31T19:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。