論文の概要: Feature Space Saturation during Training

• arxiv url: http://arxiv.org/abs/2006.08679v5
• Date: Mon, 22 Nov 2021 14:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 02:13:34.970467
• Title: Feature Space Saturation during Training
• Title（参考訳）: トレーニング中の特徴空間飽和
• Authors: Mats L. Richter and Justin Shenk and Wolf Byttner and Anders Arpteg and Mikael Huss
• Abstract要約: 本研究では, 性能損失を伴わない分散行列の固有空間に, 層の出力を制限できることを示す。 層飽和-固有空間次元と層幅の比を導出する。 ニューラルネットワークの層飽和度を、ネットワーク深さ、フィルタサイズ、入力解像度を変化させることで、どのように変化させるかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose layer saturation - a simple, online-computable method for analyzing the information processing in neural networks. First, we show that a layer's output can be restricted to the eigenspace of its variance matrix without performance loss. We propose a computationally lightweight method for approximating the variance matrix during training. From the dimension of its lossless eigenspace we derive layer saturation - the ratio between the eigenspace dimension and layer width. We show that saturation seems to indicate which layers contribute to network performance. We demonstrate how to alter layer saturation in a neural network by changing network depth, filter sizes and input resolution. Furthermore, we show that well-chosen input resolution increases network performance by distributing the inference process more evenly across the network.
• Abstract（参考訳）: ニューラルネットワークにおける情報処理を分析するための,シンプルなオンライン計算可能なレイヤ飽和法を提案する。 まず, 性能損失を伴わない分散行列の固有空間に, 層の出力を制限できることを示す。 学習中に分散行列を近似する計算的軽量な手法を提案する。 損失のない固有空間の次元から、その固有空間次元と層幅の比である層飽和を導出する。 飽和度は,どの層がネットワーク性能に寄与するかを示す。 本稿では,ネットワークの深さ,フィルタサイズ,入力解像度を変化させることで,ニューラルネットワークの層飽和度を変化させる手法を示す。 さらに,ネットワーク全体の推定処理を均等に分散することにより,入力解像度がネットワーク性能を向上させることを示した。

関連論文リスト

• LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging [20.774060844559838]
  既存の深度圧縮法では、冗長な非線形活性化関数を除去し、連続する畳み込み層を単一の層にマージする。 これらの手法は、マージされたレイヤのカーネルサイズが大きくなるという重大な欠点に悩まされる。 畳み込み層とアクティベーション関数を併用することにより,この問題に対処できることを示す。 本稿では,どのアクティベーション層と畳み込み層を除去するかを選択するディープ圧縮手法であるLayerMergeを提案する。
  論文  参考訳（メタデータ） (2024-06-18T17:55:15Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Understanding Deep Neural Networks via Linear Separability of Hidden Layers [68.23950220548417]
  まず,ミンコフスキー差分に基づく線形分離性尺度(MD-LSMs)を提案し,2点集合の線形分離性度を評価する。 隠れ層出力の線形分離度とネットワークトレーニング性能との間には同期性があることを実証する。
  論文  参考訳（メタデータ） (2023-07-26T05:29:29Z)
• WavPool: A New Block for Deep Neural Networks [2.2311710049695446]
  マルチレゾリューション・パーセプトロンと呼ばれる新しいウェーブレット変換型ネットワークアーキテクチャを導入する。 プーリング層を追加することで、新しいネットワークブロック、WavPoolを作成します。 WavPoolはパラメータを減らしながら同様の多層パーセプトロンを上回り、CIFAR-10の相対的精度で同等の畳み込みニューラルネットワークを10%上回る。
  論文  参考訳（メタデータ） (2023-06-14T20:35:01Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Scale Attention for Learning Deep Face Representation: A Study Against Visual Scale Variation [69.45176408639483]
  我々はスケール空間理論に頼って凸層を再構築する。 我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。 単発方式として、推論はマルチショット融合よりも効率的である。
  論文  参考訳（メタデータ） (2022-09-19T06:35:04Z)
• Total Variation Optimization Layers for Computer Vision [130.10996341231743]
  コンピュータビジョンのためのレイヤとして,全変動(TV)最小化を提案する。 画像処理における全変動の成功により、我々は、層としてのテレビがディープネットに有用な帰納バイアスを与えるという仮説を立てた。 本仮説は,画像分類,弱教師付き物体の局所化,エッジ保存平滑化,エッジ検出,画像復調という5つのコンピュータビジョンタスクについて検討する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:27Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
  ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。 典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
  論文  参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。