論文の概要: DNNs as Layers of Cooperating Classifiers

• arxiv url: http://arxiv.org/abs/2001.06178v1
• Date: Fri, 17 Jan 2020 07:45:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 10:00:36.361923
• Title: DNNs as Layers of Cooperating Classifiers
• Title（参考訳）: 協調型分類器の層としてのDNN
• Authors: Marelie H. Davel, Marthinus W. Theunissen, Arnold M. Pretorius, Etienne Barnard
• Abstract要約: ディープニューラルネットワーク(DNN)の一般的な状況下での一般化能力を記述し、予測できる堅牢な理論的枠組みは、いまだ解明されていない。 完全に接続されたフィードフォワードネットワーク内の隠れノードの活性化パターンに興味深い規則性を示す。 これら2つのシステムは,勾配に基づく最適化プロセスから自然に発生し,個別かつ協調的に2つのシステムの分類能力を示す。
• 参考スコア（独自算出の注目度）: 5.746505534720594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A robust theoretical framework that can describe and predict the generalization ability of deep neural networks (DNNs) in general circumstances remains elusive. Classical attempts have produced complexity metrics that rely heavily on global measures of compactness and capacity with little investigation into the effects of sub-component collaboration. We demonstrate intriguing regularities in the activation patterns of the hidden nodes within fully-connected feedforward networks. By tracing the origin of these patterns, we show how such networks can be viewed as the combination of two information processing systems: one continuous and one discrete. We describe how these two systems arise naturally from the gradient-based optimization process, and demonstrate the classification ability of the two systems, individually and in collaboration. This perspective on DNN classification offers a novel way to think about generalization, in which different subsets of the training data are used to train distinct classifiers; those classifiers are then combined to perform the classification task, and their consistency is crucial for accurate classification.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の一般的な状況における一般化能力を記述し予測できる堅牢な理論的枠組みは、いまだ解明されていない。 古典的な試みは、サブコンポーネント間のコラボレーションの影響についてほとんど調査することなく、コンパクトさとキャパシティのグローバルな尺度に大きく依存する複雑性メトリクスを生み出した。 完全接続されたfeedforwardネットワークにおける隠れノードの活性化パターンに興味深い規則性を示す。 これらのパターンの起源を辿ることで、そのようなネットワークを2つの情報処理システム、すなわち1つの連続性と1つの離散性の組み合わせと見なすことができることを示す。 これら2つのシステムは,勾配に基づく最適化プロセスから自然に発生し,個別かつ協調的に2つのシステムの分類能力を示す。 このdnn分類の観点は、トレーニングデータの異なるサブセットを個別の分類器のトレーニングに使用し、それらの分類器を結合して分類タスクを実行し、それらの一貫性が正確な分類に不可欠である一般化を考えるための新しい方法を提供する。

関連論文リスト

• Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks [13.983863226803336]
  我々は「機能平均化」がディープニューラルネットワークの非ロバスト性に寄与する主要な要因の1つであると論じる。 二層分類タスクのための2層ReLUネットワークにおいて、勾配降下のトレーニング力学を詳細に理論的に解析する。 よりきめ細かい教師付き情報を提供することで、2層多層ニューラルネットワークが個々の特徴を学習できることを実証する。
  論文  参考訳（メタデータ） (2024-10-14T09:28:32Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• ExpertNet: A Symbiosis of Classification and Clustering [22.324813752423044]
  ExpertNetは、クラスタ化された潜在表現を学習し、クラスタ固有の分類器を効果的に組み合わせてそれらを活用するために、新しいトレーニング戦略を使用している。 本研究では,6つの大規模臨床データセットの最先端手法に対するExpertNetの優位性を実証する。
  論文  参考訳（メタデータ） (2022-01-17T11:00:30Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot Action Recognition [33.23662792742078]
  ゼロショット動作認識のための2段階のディープニューラルネットワークを提案する。 サンプリング段階では,授業の動作特徴と単語ベクトルによって訓練されたGAN(Generative Adversarial Network)を利用する。 分類段階において、アクションクラスの単語ベクトルと関連するオブジェクトの関係に基づいて知識グラフを構築する。
  論文  参考訳（メタデータ） (2021-05-25T09:34:42Z)
• Intraclass clustering: an implicit learning ability that regularizes DNNs [22.732204569029648]
  ディープニューラルネットワークは,クラス間で有意義なクラスタを抽出する能力によって正規化されることを示す。 クラス内クラスタリングの尺度は、トレーニングデータのニューロンおよび層レベルの表現に基づいて設計される。
  論文  参考訳（メタデータ） (2021-03-11T15:26:27Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Equivalent Classification Mapping for Weakly Supervised Temporal Action Localization [92.58946210982411]
  微弱に監督された時間的行動の局所化は近年、新しく広く研究されているトピックである。 事前分類パイプラインは、まず、各ビデオスニペットの分類を行い、次いで、スニペットレベルの分類スコアを集約して、ビデオレベルの分類スコアを得る。 後分類パイプラインは、まずスニペットレベルの特徴を集約し、集約された特徴に基づいてビデオレベルの分類スコアを予測する。
  論文  参考訳（メタデータ） (2020-08-18T03:54:56Z)
• Fine-Grained Visual Classification with Efficient End-to-end Localization [49.9887676289364]
  本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。 我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
  論文  参考訳（メタデータ） (2020-05-11T14:07:06Z)
• A Classification-Based Approach to Semi-Supervised Clustering with Pairwise Constraints [5.639904484784126]
  対制約付き半教師付きクラスタリングのためのネットワークフレームワークを提案する。 既存のアプローチとは対照的に、SSCを2つの単純な分類タスク/ステージに分解する。 提案手法であるS3C2は、二項分類がマルチクラスクラスタリングよりも容易であるという観察から動機づけられている。
  論文  参考訳（メタデータ） (2020-01-18T20:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。