Fugu-MT 論文翻訳(概要): Learning Enhancement of CNNs via Separation Index Maximizing at the First Convolutional Layer

論文の概要: Learning Enhancement of CNNs via Separation Index Maximizing at the First Convolutional Layer

arxiv url: http://arxiv.org/abs/2201.05217v1
Date: Thu, 13 Jan 2022 21:32:14 GMT
ステータス: 処理完了
システム内更新日: 2022-01-17 14:12:41.376095
Title: Learning Enhancement of CNNs via Separation Index Maximizing at the First Convolutional Layer
Title（参考訳）: 第一畳み込み層における分離指数最大化によるCNNの学習促進
Authors: Ali Karimi and Ahmad Kalhor
Abstract要約: 教師付き複雑性尺度としての分離指数(SI)は、分類問題に対するCNNのより良い学習における使用法を説明する。学習戦略では、SIを最大化することでCNNの第1層を最適化し、さらに第2層をバックプロパゲーションアルゴリズムでトレーニングし、さらなるレイヤを学習する。
参考スコア（独自算出の注目度）: 1.6244541005112747
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, a straightforward enhancement learning algorithm based on Separation Index (SI) concept is proposed for Convolutional Neural Networks (CNNs). At first, the SI as a supervised complexity measure is explained its usage in better learning of CNNs for classification problems illustrate. Then, a learning strategy proposes through which the first layer of a CNN is optimized by maximizing the SI, and the further layers are trained through the backpropagation algorithm to learn further layers. In order to maximize the SI at the first layer, A variant of ranking loss is optimized by using the quasi least square error technique. Applying such a learning strategy to some known CNNs and datasets, its enhancement impact in almost all cases is demonstrated.
Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(cnns)に対して,分離インデックス(si)概念に基づく簡易強化学習アルゴリズムを提案する。まず、教師付き複雑性尺度としてのSIについて、分類問題に対するCNNのより良い学習における使用法を説明する。次に、siを最大化し、cnnの第1層を最適化し、さらに、バックプロパゲーションアルゴリズムによりさらなる層を訓練し、さらなる層を学習する学習戦略を提案する。第1層のSIを最大化するために、準最小二乗誤差法を用いてランキング損失の変種を最適化する。このような学習戦略を既知のcnnやデータセットに適用することで、ほぼすべてのケースでその強化効果が実証される。

関連論文リスト

Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文参考訳（メタデータ） (2023-07-07T15:03:42Z)
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文参考訳（メタデータ） (2023-03-13T14:27:34Z)
A Gradient Boosting Approach for Training Convolutional and Deep Neural Networks [0.0]
グラディエントブースティング(GB)に基づく畳み込みニューラルネットワーク(CNN)とディープニューラルネットワークの訓練方法を紹介する。提案モデルでは,同一アーキテクチャの標準CNNとDeep-NNに対して,分類精度の点で優れた性能を示す。
論文参考訳（メタデータ） (2023-02-22T12:17:32Z)
Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-10-23T18:37:22Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Sparse tree-based initialization for neural networks [0.0]
専用ニューラルネットワーク(NN)アーキテクチャは、画像のCNNやテキストのRNNといった特定のデータタイプを処理可能であることを示す。本研究では,(潜在的に深い)多層パーセプトロン(MLP)の新しい手法を提案する。 NNトレーニング中に新しい初期化器が暗黙の正規化を行うことを示すとともに,第1層がスパース機能抽出器として機能することを強調する。
論文参考訳（メタデータ） (2022-09-30T07:44:03Z)
Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution [80.93870349019332]
本稿では,CNN の代わりに Transformer を用いて HSI の事前学習を行う新しい HSISR 手法を提案する。具体的には、まず勾配アルゴリズムを用いてHSISRモデルを解き、次に展開ネットワークを用いて反復解過程をシミュレートする。
論文参考訳（メタデータ） (2021-11-27T15:38:57Z)
Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文参考訳（メタデータ） (2021-03-09T14:51:34Z)
Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers [0.0]
本稿では階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)を提案する。アルゴリズムは、一定のブロックサイズまたは異なるブロックサイズでチャンクごとにチャンクを学習することができる。
論文参考訳（メタデータ） (2020-06-12T00:50:04Z)
Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文参考訳（メタデータ） (2020-03-24T09:56:13Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。