論文の概要: How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model

• arxiv url: http://arxiv.org/abs/2307.02129v1
• Date: Wed, 5 Jul 2023 09:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 14:22:59.209754
• Title: How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model
• Title（参考訳）: ニューラルネットワークが構成データをどのように学習するか:ランダム階層モデル
• Authors: Leonardo Petrini, Francesco Cagnetta, Umberto M. Tomasini, Alessandro Favero, Matthieu Wyart
• Abstract要約: 深層畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、汎用的な高次元タスクの学習という課題を克服する上で、大きな成功を収めている。 本稿では,実データの関連する側面を捉えるための単純な分類課題について,この疑問に答える。 我々は、このタスクを学習するために深層CNNが要求するトレーニングデータ$P*$の数は、入力次元に限られる$n_c mL$として増加することを発見した。
• 参考スコア（独自算出の注目度）: 59.34540306549813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning generic high-dimensional tasks is notably hard, as it requires a number of training data exponential in the dimension. Yet, deep convolutional neural networks (CNNs) have shown remarkable success in overcoming this challenge. A popular hypothesis is that learnable tasks are highly structured and that CNNs leverage this structure to build a low-dimensional representation of the data. However, little is known about how much training data they require, and how this number depends on the data structure. This paper answers this question for a simple classification task that seeks to capture relevant aspects of real data: the Random Hierarchy Model. In this model, each of the $n_c$ classes corresponds to $m$ synonymic compositions of high-level features, which are in turn composed of sub-features through an iterative process repeated $L$ times. We find that the number of training data $P^*$ required by deep CNNs to learn this task (i) grows asymptotically as $n_c m^L$, which is only polynomial in the input dimensionality; (ii) coincides with the training set size such that the representation of a trained network becomes invariant to exchanges of synonyms; (iii) corresponds to the number of data at which the correlations between low-level features and classes become detectable. Overall, our results indicate how deep CNNs can overcome the curse of dimensionality by building invariant representations, and provide an estimate of the number of data required to learn a task based on its hierarchically compositional structure.
• Abstract（参考訳）: 一般的な高次元タスクの学習は、その次元に指数関数的なトレーニングデータを必要とするため、特に難しい。 しかし、深層畳み込みニューラルネットワーク(CNN)はこの課題を克服することに成功した。 一般的な仮説は、学習可能なタスクは高度に構造化されており、cnnはこの構造を利用してデータの低次元表現を構築している。 しかし、どれだけのトレーニングデータが必要なのか、この数字がデータ構造に依存するのかについては、ほとんど分かっていない。 本稿では、実データの関連する側面を捉えようとする単純な分類タスクであるランダム階層モデルについて、この疑問に答える。 このモデルでは、各$n_c$クラスは高レベル特徴の$m$シノニム構成に対応し、繰り返し$l$を繰り返すプロセスを通じてサブフィーチャで構成されます。 我々は、このタスクを学習するために深層CNNが必要とするトレーニングデータ$P^*$の数が分かる。 i)入力次元の多項式である$n_c m^L$として漸近的に成長する。 (ii) 訓練されたネットワークの表現が同義語の交換に不変となるような訓練セットのサイズと一致する。 (iii)は、低レベル特徴とクラス間の相関が検出可能となるデータ数に対応する。 全体としては,CNNが不変表現を構築することによって次元の呪いを克服できることを示すとともに,その階層的な構成構造に基づいてタスクの学習に必要なデータの数を推定する。

関連論文リスト

• How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model [4.215221129670858]
  生成的階層的データモデルに空間性を導入することで、スムーズな変換の離散バージョンである空間変換に対する非感受性を得ることを示す。 SRHMを学習するCNNのサンプルの複雑さが、タスクのスパーシリティと階層構造の両方に依存するかを定量化する。
  論文  参考訳（メタデータ） (2024-04-16T17:01:27Z)
• Neural Sculpting: Uncovering hierarchically modular task structure in neural networks through pruning and network analysis [8.080026425139708]
  階層的なモジュラーニューラルネットワークは、学習効率、一般化、マルチタスク学習、転送などの利点を提供する。 本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-05-28T15:12:32Z)
• The Group Loss++: A deeper look into group loss for deep metric learning [65.19665861268574]
  グループ損失 (Group Loss) は、グループの全サンプルに埋め込まれた類似性を強制する微分可能なラベルプロパゲーション法に基づく損失関数である。 4つのデータセットでクラスタリングと画像検索の最先端結果を示し、2人の再識別データセットで競合結果を示す。
  論文  参考訳（メタデータ） (2022-04-04T14:09:58Z)
• Computing Class Hierarchies from Classifiers [12.631679928202516]
  ニューラルネットワークからクラス階層を自動的に取得する新しいアルゴリズムを提案する。 我々のアルゴリズムは、よく知られたディープニューラルネットワークモデルに驚くほど優れた階層を生成する。
  論文  参考訳（メタデータ） (2021-12-02T13:01:04Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Fuzzy Simplicial Networks: A Topology-Inspired Model to Improve Task Generalization in Few-shot Learning [1.0062040918634414]
  少ないショット学習アルゴリズムは、限られたデータで新しいタスクをうまく一般化するように設計されている。 本稿では,Fizzy Simplicial Networks (FSN) と呼ばれる,トポロジから構築したモデルを用いて,限られたデータから各クラスをより柔軟に表現する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-23T17:01:09Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• Adaptive Hierarchical Decomposition of Large Deep Networks [4.272649614101117]
  データセットが大きくなるにつれて、既存のディープラーニングアーキテクチャが一般的な人間によって認識可能な50以上のクラスを扱うように拡張できるかどうかという自然な疑問がある。 本稿では,単一大規模ネットワークの代替として,より小さなディープネットワーク群を自動解析し,構成するフレームワークを提案する。 結果として、より小さなネットワークは、高度にスケーラブルで、並列であり、訓練もより実践的であり、より高い分類精度を達成する。
  論文  参考訳（メタデータ） (2020-07-17T21:04:50Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。