論文の概要: Depth Selection for Deep ReLU Nets in Feature Extraction and Generalization

• arxiv url: http://arxiv.org/abs/2004.00245v1
• Date: Wed, 1 Apr 2020 06:03:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 18:01:29.993841
• Title: Depth Selection for Deep ReLU Nets in Feature Extraction and Generalization
• Title（参考訳）: 特徴抽出と一般化における深部ReLUネットの深さ選択
• Authors: Zhi Han, Siquan Yu, Shao-Bo Lin, Ding-Xuan Zhou
• Abstract要約: 本研究では,従来の経験的リスク最小化を深層ネットに実装することで,多くの学習課題に対して最適な一般化性能が得られることを示す。 本研究は, トイシミュレーションや地震震度予測の実用化など, 一連の数値実験により検証した。
• 参考スコア（独自算出の注目度）: 22.696129751033983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning is recognized to be capable of discovering deep features for representation learning and pattern recognition without requiring elegant feature engineering techniques by taking advantage of human ingenuity and prior knowledge. Thus it has triggered enormous research activities in machine learning and pattern recognition. One of the most important challenge of deep learning is to figure out relations between a feature and the depth of deep neural networks (deep nets for short) to reflect the necessity of depth. Our purpose is to quantify this feature-depth correspondence in feature extraction and generalization. We present the adaptivity of features to depths and vice-verse via showing a depth-parameter trade-off in extracting both single feature and composite features. Based on these results, we prove that implementing the classical empirical risk minimization on deep nets can achieve the optimal generalization performance for numerous learning tasks. Our theoretical results are verified by a series of numerical experiments including toy simulations and a real application of earthquake seismic intensity prediction.
• Abstract（参考訳）: 深層学習は、人間の創発性や事前知識を活用することによって、エレガントな特徴工学技術を必要とすることなく、表現学習とパターン認識の深い特徴を発見することができると認識されている。 これにより、機械学習とパターン認識における膨大な研究活動が引き起こされた。 深層学習における最も重要な課題の1つは、特徴と深層ニューラルネットワーク(略して深層ネット)の深さの関係を解明し、深層の必要性を反映させることである。 本研究の目的は,特徴抽出と一般化における特徴量対応の定量化である。 単一特徴量と複合特徴量の両方を抽出する際の奥行きパラメータトレードオフを示すことにより,特徴量の深度と逆方向への適応性を示す。 これらの結果から,従来の経験的リスク最小化をディープネットに実装することで,多数の学習課題に対して最適な一般化性能が得られることを示す。 本理論は,おもちゃシミュレーションや地震震度予測の応用を含む一連の数値実験によって検証された。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
  本稿ではセマンティクス指向のDeepFake検出タスクをサポートするための自動データセット拡張手法を提案する。 また,顔画像とそれに対応するラベルを併用して予測を行う。 提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
  論文  参考訳（メタデータ） (2024-08-29T07:11:50Z)
• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。 スパース特徴を抽出する能力において,CNNの収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Expressive Power and Loss Surfaces of Deep Learning Models [0.0]
  本稿では,ディープラーニングモデルの動作に関する解説チュートリアルとして機能する。 2つ目の目標は、ディープラーニングモデルの表現力に関する現在の結果を、新しい洞察と結果で補完することである。
  論文  参考訳（メタデータ） (2021-08-08T06:28:09Z)
• Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
  既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。 本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
  論文  参考訳（メタデータ） (2021-05-25T19:41:38Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
  RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。 本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T04:33:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。