論文の概要: AdaCap: Adaptive Capacity control for Feed-Forward Neural Networks
- arxiv url: http://arxiv.org/abs/2205.07860v1
- Date: Mon, 9 May 2022 17:55:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-22 14:44:10.229311
- Title: AdaCap: Adaptive Capacity control for Feed-Forward Neural Networks
- Title（参考訳）: adacap:フィードフォワードニューラルネットワークのための適応キャパシティ制御
- Authors: Katia Meziani, Karim Lounici, Benjamin Riu
- Abstract要約: Adaptive Capacity (AdaCap)は、フィードフォワードニューラルネットワーク(FFNN)のトレーニングスキームである。
AdaCapは2つの新しい材料、Muddling labels for Regularization (MLR) LosとTikhonovオペレーターのトレーニングスキームの組み合わせである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The capacity of a ML model refers to the range of functions this model can
approximate. It impacts both the complexity of the patterns a model can learn
but also memorization, the ability of a model to fit arbitrary labels. We
propose Adaptive Capacity (AdaCap), a training scheme for Feed-Forward Neural
Networks (FFNN). AdaCap optimizes the capacity of FFNN so it can capture the
high-level abstract representations underlying the problem at hand without
memorizing the training dataset. AdaCap is the combination of two novel
ingredients, the Muddling labels for Regularization (MLR) loss and the Tikhonov
operator training scheme. The MLR loss leverages randomly generated labels to
quantify the propensity of a model to memorize. We prove that the MLR loss is
an accurate in-sample estimator for out-of-sample generalization performance
and that it can be used to perform Hyper-Parameter Optimization provided a
Signal-to-Noise Ratio condition is met. The Tikhonov operator training scheme
modulates the capacity of a FFNN in an adaptive, differentiable and
data-dependent manner. We assess the effectiveness of AdaCap in a setting where
DNN are typically prone to memorization, small tabular datasets, and benchmark
its performance against popular machine learning methods.
- Abstract（参考訳）: MLモデルの容量は、このモデルが近似できる関数の範囲を指す。
モデルが学習できるパターンの複雑さだけでなく、モデルが任意のラベルに適合する能力の記憶にも影響します。
本稿では、フィードフォワードニューラルネットワーク(FFNN)のトレーニングスキームであるAdaptive Capacity(AdaCap)を提案する。
AdaCapはFFNNのキャパシティを最適化し、トレーニングデータセットを記憶することなく、問題の根底にある高レベルの抽象表現をキャプチャする。
AdaCapは2つの新しい材料、Muddling labels for Regularization (MLR) LosとTikhonovオペレーターのトレーニングスキームの組み合わせである。
mlr損失はランダムに生成されたラベルを利用してモデルが記憶する傾向を定量化する。
我々は、MLR損失がサンプル外一般化性能の精度の高いインサンプル推定器であることを証明し、信号対雑音比条件を満たす場合、ハイパーパラメータ最適化に使用できることを示した。
Tikhonov演算子トレーニングスキームは、適応的で微分可能でデータ依存的な方法でFFNNの容量を変調する。
我々は、DNNが暗記や小さな表のデータセットに傾向のある環境でAdaCapの有効性を評価し、その性能を一般的な機械学習手法と比較する。
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。
本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
論文 参考訳（メタデータ） (2024-04-26T06:00:27Z) - Training-Free Unsupervised Prompt for Vision-Language Models [27.13778811871694]
本研究では,表現能力の保持と類似性に基づく予測確率の残差による強化を図るために,TFUP(Training-Free Unsupervised Prompts)を提案する。
TFUPは、複数の分類データセットのトレーニングベースメソッドを超え、驚くべきパフォーマンスを達成する。
TFUP-Tは,複数のベンチマークにおける教師なしおよび少数ショット適応手法と比較して,最先端の分類性能が向上する。
論文 参考訳（メタデータ） (2024-04-25T05:07:50Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - Adaptive Memory Networks with Self-supervised Learning for Unsupervised
Anomaly Detection [54.76993389109327]
教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。
本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。
AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
論文 参考訳（メタデータ） (2022-01-03T03:40:21Z) - Learning to Rectify for Robust Learning with Noisy Labels [25.149277009932423]
分類ネットワークのトレーニング手順を適応的に修正するためのワープ確率推論(WarPI)を提案する。
雑音ラベルによる頑健な学習の4つのベンチマークでWarPIを評価し, 異種雑音下での新たな最先端の学習を実現する。
論文 参考訳（メタデータ） (2021-11-08T02:25:50Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳（メタデータ） (2021-08-28T14:31:45Z) - Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。
MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。
実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
論文 参考訳（メタデータ） (2021-06-16T16:24:55Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳（メタデータ） (2020-04-20T17:37:36Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。