論文の概要: Adaptive Hierarchical Decomposition of Large Deep Networks

• arxiv url: http://arxiv.org/abs/2008.00809v1
• Date: Fri, 17 Jul 2020 21:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 13:21:09.668417
• Title: Adaptive Hierarchical Decomposition of Large Deep Networks
• Title（参考訳）: 大規模深層ネットワークの適応的階層分解
• Authors: Sumanth Chennupati, Sai Nooka, Shagan Sah, Raymond W Ptucha
• Abstract要約: データセットが大きくなるにつれて、既存のディープラーニングアーキテクチャが一般的な人間によって認識可能な50以上のクラスを扱うように拡張できるかどうかという自然な疑問がある。 本稿では,単一大規模ネットワークの代替として,より小さなディープネットワーク群を自動解析し,構成するフレームワークを提案する。 結果として、より小さなネットワークは、高度にスケーラブルで、並列であり、訓練もより実践的であり、より高い分類精度を達成する。
• 参考スコア（独自算出の注目度）: 4.272649614101117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has recently demonstrated its ability to rival the human brain for visual object recognition. As datasets get larger, a natural question to ask is if existing deep learning architectures can be extended to handle the 50+K classes thought to be perceptible by a typical human. Most deep learning architectures concentrate on splitting diverse categories, while ignoring the similarities amongst them. This paper introduces a framework that automatically analyzes and configures a family of smaller deep networks as a replacement to a singular, larger network. Class similarities guide the creation of a family from course to fine classifiers which solve categorical problems more effectively than a single large classifier. The resulting smaller networks are highly scalable, parallel and more practical to train, and achieve higher classification accuracy. This paper also proposes a method to adaptively select the configuration of the hierarchical family of classifiers using linkage statistics from overall and sub-classification confusion matrices. Depending on the number of classes and the complexity of the problem, a deep learning model is selected and the complexity is determined. Numerous experiments on network classes, layers, and architecture configurations validate our results.
• Abstract（参考訳）: ディープラーニングは、最近、視覚オブジェクト認識で人間の脳に匹敵する能力を実証した。 データセットが大きくなるにつれて、既存のディープラーニングアーキテクチャを拡張して、一般的な人間が知覚可能な50以上のクラスを処理することができるのか、という自然な疑問が生まれます。 ほとんどのディープラーニングアーキテクチャは、さまざまなカテゴリの分割に重点を置いている。 本稿では,単一大規模ネットワークの代替として,より小さなディープネットワーク群を自動解析し,構成するフレームワークを提案する。 クラス類似性は、一大分類器よりも効率的に分類問題を解くファイン・クラシファイアへのコースからファイン・クラシファイアへの家族の生成を導く。 結果として、より小さなネットワークは、高度にスケーラブルで、並列であり、訓練しやすく、より高い分類精度を達成する。 本稿では,階層型分類器の構成を,全体およびサブ分類混乱行列からリンク統計を用いて適応的に選択する手法を提案する。 クラス数や問題の複雑さによっては、ディープラーニングモデルが選択され、複雑性が決定される。 ネットワーククラス、レイヤ、およびアーキテクチャ構成に関する多くの実験が結果を検証します。

関連論文リスト

• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Connecting Sphere Manifolds Hierarchically for Regularization [16.082095595061617]
  階層的なクラスによる分類問題を考察する。 我々の手法は、球面完全連結層と階層層を組み合わせることによって、ニューラルネットワークの最後の層を置き換える。 この正規化は、広く使われているディープニューラルネットワークアーキテクチャのパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2021-06-25T10:51:36Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Gradient-based Competitive Learning: Theory [1.6752712949948443]
  本稿では,勾配に基づく学習と競争的な学習を組み合わせることで,この分野の新たな視点を紹介する。 この理論は、ニューラルネットワークが入力行列の変換を直接研究することで、トポロジカル構造を学習できるという直感に基づいている。 提案手法は、トポロジカル学習タスクの広範な選択に一般化できるため、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2020-09-06T19:00:51Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Learn Class Hierarchy using Convolutional Neural Networks [0.9569316316728905]
  画像の階層的分類のための新しいアーキテクチャを提案し、クロスエントロピー損失関数と中心損失を組み合わせた深層線形層を導入する。 階層型分類器は,コンピュータビジョンタスクへの応用を見出す従来の分類手法の利点を示す。
  論文  参考訳（メタデータ） (2020-05-18T12:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。