論文の概要: Variance Based Samples Weighting for Supervised Deep Learning
- arxiv url: http://arxiv.org/abs/2101.07561v2
- Date: Thu, 28 Jan 2021 12:50:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 11:26:42.817939
- Title: Variance Based Samples Weighting for Supervised Deep Learning
- Title（参考訳）: 教師付きディープラーニングのための変数ベースサンプル重み付け
- Authors: Paul Novello (CEA, X, Inria), Ga\"el Po\"ette (CEA), David Lugato
(CEA), Pietro Congedo (X, Inria)
- Abstract要約: ニューラルネットワーク(NN)による関数の教師付き学習は、データセットの分布が学習する関数がより急な領域に焦点を合わせると、より良い結果が得られると論じる。
Variance Based Samples Weighting (VBSW) と呼ばれる方法論を構築します。
VBSWは汎用的で拡張性があり、コスト効率が良く、大規模なNNの性能を大幅に向上させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the context of supervised learning of a function by a Neural Network (NN),
we claim and empirically justify that a NN yields better results when the
distribution of the data set focuses on regions where the function to learn is
steeper. We first traduce this assumption in a mathematically workable way
using Taylor expansion. Then, theoretical derivations allow to construct a
methodology that we call Variance Based Samples Weighting (VBSW). VBSW uses
local variance of the labels to weight the training points. This methodology is
general, scalable, cost effective, and significantly increases the performances
of a large class of NNs for various classification and regression tasks on
image, text and multivariate data. We highlight its benefits with experiments
involving NNs from shallow linear NN to Resnet or Bert.
- Abstract（参考訳）: ニューラルネットワーク(NN)による関数の教師付き学習の文脈において、データセットの分布が学習する関数がより急な領域に焦点を当てたとき、NNがより良い結果をもたらすことを実証的に正当化する。
最初にこの仮定をテイラー展開を用いて数学的に動作する方法で記述する。
次に、理論的導出により、私たちがVBSW(Variance Based Samples Weighting)と呼ぶ方法論を構築することができる。
VBSWはトレーニングポイントの重み付けにラベルの局所的な分散を使用する。
この手法は、画像、テキスト、多変量データに対する様々な分類および回帰タスクのための大規模なNNの性能を大幅に向上させる。
我々はその利点を、浅い線形NNからResnetやBertまでNNを巻き込んだ実験で強調する。
関連論文リスト
- On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs
Locally Adaptive? [18.540351526850944]
古典的非パラメトリック回帰問題のレンズからニューラルネットワーク(NN)の理論を研究する。
私たちの研究は、なぜ深さが重要なのか、そしてNNがカーネルメソッドよりも強力であるかについて、新たな光を当てています。
論文 参考訳（メタデータ） (2022-04-20T17:55:16Z) - A Variational Bayesian Approach to Learning Latent Variables for
Acoustic Knowledge Transfer [55.20627066525205]
本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。
我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
論文 参考訳（メタデータ） (2021-10-16T15:54:01Z) - Tensor-based framework for training flexible neural networks [9.176056742068813]
本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。
提案アルゴリズムは、異なる基底分解を処理できる。
この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
論文 参考訳（メタデータ） (2021-06-25T10:26:48Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳（メタデータ） (2021-06-24T15:38:34Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Exploiting Invariance in Training Deep Neural Networks [4.169130102668252]
動物視覚システムの2つの基本的なメカニズムに触発され、ディープニューラルネットワークのトレーニングに不変性を与える特徴変換技術を紹介します。
結果として得られるアルゴリズムはパラメータチューニングを少なくし、初期学習率1.0でうまくトレーニングし、異なるタスクに簡単に一般化する。
ImageNet、MS COCO、Cityscapesデータセットでテストされた当社の提案手法は、トレーニングにより少ないイテレーションを必要とし、すべてのベースラインを大きなマージンで上回り、小規模および大規模のバッチサイズのトレーニングをシームレスに行い、画像分類、オブジェクト検出、セマンティックセグメンテーションの異なるコンピュータビジョンタスクに適用します。
論文 参考訳（メタデータ） (2021-03-30T19:18:31Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Multi-Sample Online Learning for Spiking Neural Networks based on
Generalized Expectation Maximization [42.125394498649015]
スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。
本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。
鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
論文 参考訳（メタデータ） (2021-02-05T16:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。