論文の概要: Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation

• arxiv url: http://arxiv.org/abs/2107.12972v1
• Date: Tue, 27 Jul 2021 17:33:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 14:54:22.519074
• Title: Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation
• Title（参考訳）: NNKポリトープ補間による検証セットのないチャネルワイズ早期停止
• Authors: David Bonet, Antonio Ortega, Javier Ruiz-Hidalgo, Sarath Shekkizhar
• Abstract要約: 畳み込みニューラルネットワーク(ConvNets)は、複数のチャネルの集約によって形成される高次元の特徴空間からなる。 非次元カーネル回帰(NNK)グラフに基づく新しい一般化推定法であるチャネルワイドDeepNNKを提案する。
• 参考スコア（独自算出の注目度）: 36.479195100553085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art neural network architectures continue to scale in size and deliver impressive generalization results, although this comes at the expense of limited interpretability. In particular, a key challenge is to determine when to stop training the model, as this has a significant impact on generalization. Convolutional neural networks (ConvNets) comprise high-dimensional feature spaces formed by the aggregation of multiple channels, where analyzing intermediate data representations and the model's evolution can be challenging owing to the curse of dimensionality. We present channel-wise DeepNNK (CW-DeepNNK), a novel channel-wise generalization estimate based on non-negative kernel regression (NNK) graphs with which we perform local polytope interpolation on low-dimensional channels. This method leads to instance-based interpretability of both the learned data representations and the relationship between channels. Motivated by our observations, we use CW-DeepNNK to propose a novel early stopping criterion that (i) does not require a validation set, (ii) is based on a task performance metric, and (iii) allows stopping to be reached at different points for each channel. Our experiments demonstrate that our proposed method has advantages as compared to the standard criterion based on validation set performance.
• Abstract（参考訳）: 最先端のニューラルネットワークアーキテクチャはサイズを縮小し、印象的な一般化結果を提供するが、これは限定的な解釈可能性の犠牲になる。 特に重要な課題は、それが一般化に重大な影響を与えるため、いつモデルをトレーニングしなくなるかを決定することである。 畳み込みニューラルネットワーク(ConvNets)は、複数のチャネルの集約によって形成される高次元の特徴空間で構成され、中間データ表現とモデルの進化を分析することは、次元性の呪いのために困難である。 低次元チャネル上で局所ポリトープ補間を行う非負のカーネル回帰(NNK)グラフに基づくチャネルワイド一般化推定法であるチャネルワイドディープNNK(CW-DeepNNK)を提案する。 この方法は、学習データ表現とチャネル間の関係の両方のインスタンスベースの解釈可能性をもたらす。 我々はCW-DeepNNKを用いて、(i)検証セットを必要とせず、(ii)タスクパフォーマンスの指標に基づいており、(iii)各チャンネルの異なる地点で停止できるという新しい早期停止基準を提案する。 実験の結果,提案手法は検証セットの性能に基づく標準基準と比較して利点があることがわかった。

関連論文リスト

• Information-Theoretic Generalization Bounds for Deep Neural Networks [22.87479366196215]
  ディープニューラルネットワーク(DNN)は、実用的な応用において、非常に優れた一般化能力を示す。 本研究の目的は,情報理論の一般化境界による教師あり学習における深度の影響とメリットを捉えることである。
  論文  参考訳（メタデータ） (2024-04-04T03:20:35Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Low Complexity Channel estimation with Neural Network Solutions [1.0499453838486013]
  我々は、ダウンリンクシナリオでチャネル推定を実現するために、一般的な残差畳み込みニューラルネットワークをデプロイする。 チャネル推定における他のディープラーニング手法と比較して,平均二乗誤差計算の改善が示唆された。
  論文  参考訳（メタデータ） (2022-01-24T19:55:10Z)
• Exploring Gradient Flow Based Saliency for DNN Model Compression [21.993801817422572]
  モデルプルーニングは、ディープニューラルネットワーク(DNN)モデルのサイズや計算オーバーヘッドを低減することを目的としている。 DNNのチャネル重要度を評価する従来のモデルプルーニング手法は,各チャネルの局所的解析にあまりにも注意を払っている。 本稿では,新しい流れの観点から新しいモデルプルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-10-24T16:09:40Z)
• Channel redundancy and overlap in convolutional neural networks with channel-wise NNK graphs [36.479195100553085]
  畳み込みニューラルネットワーク(CNN)の深い層における特徴空間は、しばしば非常に高次元で解釈が難しい。 理論的にチャネルワイド非負のカーネル(CW-NNK)回帰グラフを分析し、チャネル間の重なり合いを定量化する。 チャネル間の冗長性は,層深度や正規化の程度によって大きく変化している。
  論文  参考訳（メタデータ） (2021-10-18T22:50:07Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)
• Depthwise Non-local Module for Fast Salient Object Detection Using a Single Thread [136.2224792151324]
  本稿では,高速な物体検出のための新しいディープラーニングアルゴリズムを提案する。 提案アルゴリズムは,1つのCPUスレッドと同時に,競合精度と高い推論効率を実現する。
  論文  参考訳（メタデータ） (2020-01-22T15:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。