論文の概要: Improving Sample Efficiency with Normalized RBF Kernels

• arxiv url: http://arxiv.org/abs/2007.15397v2
• Date: Fri, 31 Jul 2020 09:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 13:21:41.771410
• Title: Improving Sample Efficiency with Normalized RBF Kernels
• Title（参考訳）: 正規化RBFカーネルによるサンプル効率の向上
• Authors: Sebastian Pineda-Arango, David Obando-Paniagua, Alperen Dedeoglu, Philip Kurzend\"orfer, Friedemann Schestag and Randolf Scholz
• Abstract要約: 本稿では,正規化されたラジアル基底関数(RBF)カーネルを用いたニューラルネットワークをトレーニングして,より優れたサンプル効率を実現する方法について検討する。 この種の出力層は、どのようにしてクラスがコンパクトで適切に分離された埋め込み空間を見つけるかを示す。 CIFAR-10とCIFAR-100の実験により、正規化されたカーネルを出力層として持つネットワークは、より高いサンプリング効率、高いコンパクト性、そして良好な分離性が得られることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In deep learning models, learning more with less data is becoming more important. This paper explores how neural networks with normalized Radial Basis Function (RBF) kernels can be trained to achieve better sample efficiency. Moreover, we show how this kind of output layer can find embedding spaces where the classes are compact and well-separated. In order to achieve this, we propose a two-phase method to train those type of neural networks on classification tasks. Experiments on CIFAR-10 and CIFAR-100 show that networks with normalized kernels as output layer can achieve higher sample efficiency, high compactness and well-separability through the presented method in comparison to networks with SoftMax output layer.
• Abstract（参考訳）: ディープラーニングモデルでは、少ないデータでより多くを学ぶことが重要になっています。 本稿では,正規化されたラジアル基底関数(RBF)カーネルを用いたニューラルネットワークを用いて,サンプル効率の向上を図る。 さらに,このような出力層がクラスがコンパクトかつ分離された埋め込み空間をどのように見つけるかを示す。 そこで本研究では,このようなニューラルネットワークを分類タスクで学習するための2段階の手法を提案する。 CIFAR-10 と CIFAR-100 の実験により,通常のカーネルを出力層として持つネットワークは,SoftMax 出力層を用いたネットワークと比較して,提案手法によりより高効率,高コンパクト,高分離性が得られることを示した。

関連論文リスト

• Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
  高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。 本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
  論文  参考訳（メタデータ） (2024-05-27T05:06:24Z)
• Learning Sparse Neural Networks with Identity Layers [33.11654855515443]
  本稿では,ネットワーク空間と層間特徴類似性の関係について検討する。 CKA-SRと呼ばれるスパースネットワークトレーニングのためのプラグアンドプレイCKAベースのスポーラリティ正規化を提案する。 CKA-SRは、複数のState-Of-The-Artスパース訓練法の性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-07-14T14:58:44Z)
• Kernel function impact on convolutional neural networks [10.98068123467568]
  畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。 より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。 完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T19:57:01Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Boosting the Efficiency of Parametric Detection with Hierarchical Neural Networks [4.1410005218338695]
  高速検出のための新しい手法として階層型検出ネットワーク(HDN)を提案する。 ネットワークは、統計的精度と効率の目標を同時に符号化する新しい損失関数を用いて訓練される。 2層モデルを用いた3層HDNのトレーニングにより,精度と効率が向上することを示す。
  論文  参考訳（メタデータ） (2022-07-23T19:23:00Z)
• TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
  最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。 我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。 本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
  論文  参考訳（メタデータ） (2022-07-13T16:58:22Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data [0.0]
  フェデレートラーニング(Federated Learning)は、分散データ上でニューラルネットワークをトレーニングする方法として広く採用されている。 主な制限は、データが均一に分散されたときに発生するパフォーマンス劣化である。 本稿では,様々なディープラーニングタスクにおいて,従来の最先端手法よりも優れたパフォーマンスを実現するフレームワークであるFedCKAを紹介する。
  論文  参考訳（メタデータ） (2021-12-01T10:46:13Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Adaptive Convolution Kernel for Artificial Neural Networks [0.0]
  本稿では,1層に異なる大きさのカーネルを提供するために,畳み込みカーネルのサイズを訓練する方法について述べる。 実験では、提案した適応層を単純な2層ネットワークの通常の畳み込み層と比較した。 オックスフォード・ペッツデータセットのセグメンテーション実験では、U字型ネットワーク内の1つの通常の畳み込み層を1つの7$times$7適応層に置き換えることで、学習性能と一般化能力が向上することを示した。
  論文  参考訳（メタデータ） (2020-09-14T12:36:50Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。