Fugu-MT 論文翻訳(概要): Learning on tree architectures outperforms a convolutional feedforward network

論文の概要: Learning on tree architectures outperforms a convolutional feedforward network

arxiv url: http://arxiv.org/abs/2211.11378v2
Date: Wed, 23 Nov 2022 11:22:13 GMT
ステータス: 処理完了
システム内更新日: 2022-11-24 13:19:37.111760
Title: Learning on tree architectures outperforms a convolutional feedforward network
Title（参考訳）: ツリーアーキテクチャの学習は、畳み込みフィードフォワードネットワークより優れている
Authors: Yuval Meir, Itamar Ben-Noam, Yarden Tzach, Shiri Hodassman and Ido Kanter
Abstract要約: CIFAR-10 3層木アーキテクチャにおけるデータベース学習は、5層畳み込みLeNetの達成可能な成功率を上回っている。単一の経路が出力単位と重みを接続する高い刈り込み木バックプロパゲーション手順は、効率的な樹状深層学習を表現している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Advanced deep learning architectures consist of tens of fully connected and convolutional hidden layers, which are already extended to hundreds, and are far from their biological realization. Their implausible biological dynamics is based on changing a weight in a non-local manner, as the number of routes between an output unit and a weight is typically large, using the backpropagation technique. Here, offline and online CIFAR-10 database learning on 3-layer tree architectures, inspired by experimental-based dendritic tree adaptations, outperforms the achievable success rates of the 5-layer convolutional LeNet. Its highly pruning tree backpropagation procedure, where a single route connects an output unit and a weight, represents an efficient dendritic deep learning.
Abstract（参考訳）: 高度なディープラーニングアーキテクチャは、数百に拡張され、生物学的実現には程遠い、完全に接続された、畳み込み型の隠れた層を何万も含んでいる。生物学的ダイナミクスは、出力ユニットと重量の間の経路の数が典型的には大きいため、非局所的な方法で重量を変更することに基づいている。ここでは,3層木アーキテクチャを用いたオフラインおよびオンラインCIFAR-10データベース学習が,5層畳み込みLeNetの達成可能な成功率を上回っている。単一の経路が出力単位と重みを接続する高い刈り込み木バックプロパゲーション手順は、効率的な樹状深層学習を表現している。

関連論文リスト

Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
論文参考訳（メタデータ） (2024-05-27T05:06:24Z)
NCART: Neural Classification and Regression Tree for Tabular Data [0.5439020425819]
NCARTはResidual Networksの修正版で、完全に接続されたレイヤを複数の識別不能な決定木で置き換える。ニューラルネットワークのエンドツーエンド能力の恩恵を受けながら、解釈可能性を維持している。 NCARTアーキテクチャの単純さは、さまざまなサイズのデータセットに適している。
論文参考訳（メタデータ） (2023-07-23T01:27:26Z)
Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
重み空間の学習のための新しいネットワークアーキテクチャを提案する。入力として、事前訓練された不変量の重みとバイアスの連結をとる。これらのレイヤを3つの基本的な操作で実装する方法を示す。
論文参考訳（メタデータ） (2023-01-30T10:50:33Z)
Efficient shallow learning as an alternative to deep learning [0.0]
一般化された浅層LeNetアーキテクチャの誤差率は5層に過ぎず,第1畳み込み層におけるフィルタ数に比例して減衰することを示した。同様の指数を持つ電力法則も一般化されたVGG-16アーキテクチャを特徴付けている。畳み込み層に沿った保存法則は、その大きさの深さの平方根であり、誤り率を最小化する。
論文参考訳（メタデータ） (2022-11-15T10:10:27Z)
Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach [4.284071491453377]
我々は、新しい非構造化プルーニングパイプライン、注意に基づく同時スパース構造と重み学習(ASWL)を提案する。 ASWLは, 各層毎の層単位でのプルーニング比を計算する効率的なアルゴリズムを提案し, 密集ネットワークとスパースネットワークの重みをランダムな重みから同時に学習するように追従する。 MNIST, Cifar10, ImageNet を用いた実験により, ASWL は精度, プルーニング率, 運転効率の点で, 優れたプルーニング結果が得られることが示された。
論文参考訳（メタデータ） (2021-11-01T02:27:44Z)
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文参考訳（メタデータ） (2021-02-17T04:47:18Z)
Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文参考訳（メタデータ） (2020-12-29T18:05:05Z)
Learning compositional functions via multiplicative weight updates [97.9457834009578]
乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
論文参考訳（メタデータ） (2020-06-25T17:05:19Z)
The Tree Ensemble Layer: Differentiability meets Conditional Computation [8.40843862024745]
我々は、異なる決定木(ソフトツリー)のアンサンブルからなるニューラルネットワークのための新しいレイヤを導入する。異なる木は文学において有望な結果を示すが、典型的には条件計算をサポートしないため、訓練と推論が遅い。我々は、空間性を利用する特殊前方及び後方伝播アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-02-18T18:05:31Z)
Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。