論文の概要: Learning to map between ferns with differentiable binary embedding
networks
- arxiv url: http://arxiv.org/abs/2005.12563v1
- Date: Tue, 26 May 2020 08:13:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 00:24:00.815687
- Title: Learning to map between ferns with differentiable binary embedding
networks
- Title(参考訳): 微分可能なバイナリ埋め込みネットワークを持つfern間のマップの学習
- Authors: Max Blendowski and Mattias P. Heinrich
- Abstract要約: 本稿では,エンド・ツー・エンド・ネットワークにおける異種ランダム・ファーンの適用を可能にする新しい概念を提案する。
次に、ディープネットワークアーキテクチャにおける乗算不要な畳み込み層として使用することができる。
- 参考スコア(独自算出の注目度): 4.827284036182784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current deep learning methods are based on the repeated, expensive
application of convolutions with parameter-intensive weight matrices. In this
work, we present a novel concept that enables the application of differentiable
random ferns in end-to-end networks. It can then be used as multiplication-free
convolutional layer alternative in deep network architectures. Our experiments
on the binary classification task of the TUPAC'16 challenge demonstrate
improved results over the state-of-the-art binary XNOR net and only slightly
worse performance than its 2x more parameter intensive floating point CNN
counterpart.
- Abstract(参考訳): 現在のディープラーニング手法は、パラメータ集約重み行列による畳み込みの繰り返し、高価な適用に基づいている。
本稿では,エンド・ツー・エンドネットワークにおける微分可能なランダム・ファーンの適用を可能にする新しい概念を提案する。
その後、ディープネットワークアーキテクチャにおける乗算不要畳み込み層代替として使用できる。
TUPAC'16チャレンジのバイナリ分類タスクに関する実験は、最先端のバイナリXNORネットよりも改善された結果を示し、パラメータ集中浮動小数点CNNよりもわずかに低い性能を示した。
関連論文リスト
- An experimental comparative study of backpropagation and alternatives for training binary neural networks for image classification [1.0749601922718608]
バイナリニューラルネットワークは、ディープニューラルネットワークモデルのサイズを減らすことを約束する。
より強力なモデルをエッジデバイスにデプロイすることも可能だ。
しかしながら、バイナリニューラルネットワークは、バックプロパゲーションに基づく勾配降下法を用いて訓練することが依然として難しいことが証明されている。
論文 参考訳(メタデータ) (2024-08-08T13:39:09Z) - Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。
私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
論文 参考訳(メタデータ) (2024-07-16T15:55:38Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳(メタデータ) (2023-05-24T22:10:12Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。
その結果,メモリと実行時間が少なくなるモデルが得られた。
論文 参考訳(メタデータ) (2022-10-10T17:52:47Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - A Deep-Unfolded Reference-Based RPCA Network For Video
Foreground-Background Separation [86.35434065681925]
本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。
既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。
移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
論文 参考訳(メタデータ) (2020-10-02T11:40:09Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT
Prostate Segmentation via Online Sampling [66.01558025094333]
本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。
マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。
本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
論文 参考訳(メタデータ) (2020-05-15T10:37:02Z) - Boosting Connectivity in Retinal Vessel Segmentation via a Recursive
Semantics-Guided Network [23.936946593048987]
U字型ネットワークはセマンティクス誘導モジュールを導入して拡張され、拡張されたセマンティクス情報を浅い層に統合し、ネットワークがより強力な機能を探索できるようにする。
慎重に設計されたセマンティクス誘導ネットワークは、いくつかの公開データセットで広く評価されている。
論文 参考訳(メタデータ) (2020-04-24T09:18:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。