論文の概要: How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model

• arxiv url: http://arxiv.org/abs/2307.02129v5
• Date: Wed, 3 Jul 2024 07:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 20:52:46.274136
• Title: How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model
• Title（参考訳）: ニューラルネットワークが構成データをどのように学習するか:ランダム階層モデル
• Authors: Francesco Cagnetta, Leonardo Petrini, Umberto M. Tomasini, Alessandro Favero, Matthieu Wyart,
• Abstract要約: 言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
• 参考スコア（独自算出の注目度）: 47.617093812158366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning algorithms demonstrate a surprising ability to learn high-dimensional tasks from limited examples. This is commonly attributed to the depth of neural networks, enabling them to build a hierarchy of abstract, low-dimensional data representations. However, how many training examples are required to learn such representations remains unknown. To quantitatively study this question, we introduce the Random Hierarchy Model: a family of synthetic tasks inspired by the hierarchical structure of language and images. The model is a classification task where each class corresponds to a group of high-level features, chosen among several equivalent groups associated with the same class. In turn, each feature corresponds to a group of sub-features chosen among several equivalent ones and so on, following a hierarchy of composition rules. We find that deep networks learn the task by developing internal representations invariant to exchanging equivalent groups. Moreover, the number of data required corresponds to the point where correlations between low-level features and classes become detectable. Overall, our results indicate how deep networks overcome the curse of dimensionality by building invariant representations, and provide an estimate of the number of data required to learn a hierarchical task.
• Abstract（参考訳）: ディープラーニングアルゴリズムは、限られた例から高次元のタスクを学習する驚くべき能力を示す。 これは一般的にニューラルネットワークの深さによるもので、抽象的で低次元のデータ表現の階層を構築することができる。 しかし、そのような表現を学ぶのに必要なトレーニング例がいくつあるかは、いまだに不明である。 この問題を定量的に研究するために、言語と画像の階層構造から着想を得た合成タスクのファミリーであるランダム階層モデル(Random Hierarchy Model)を紹介する。 モデルは、各クラスが同じクラスに関連付けられたいくつかの等価なグループの中から選択された、高レベルの特徴のグループに対応する分類タスクである。 それぞれの特徴は、構成規則の階層に従って、いくつかの等価なものから選択されたサブ機能群に対応する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 さらに、必要なデータ数は、低レベルの特徴とクラス間の相関が検出できる点に対応する。 以上の結果から,階層的な課題を学習するのに必要となるデータの数を推定し,不変表現を構築することによって,ディープネットワークが次元性の呪いを克服する方法が示唆された。

関連論文リスト

• How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model [4.215221129670858]
  生成的階層的データモデルに空間性を導入することで、スムーズな変換の離散バージョンである空間変換に対する非感受性を得ることを示す。 SRHMを学習するCNNのサンプルの複雑さが、タスクのスパーシリティと階層構造の両方に依存するかを定量化する。
  論文  参考訳（メタデータ） (2024-04-16T17:01:27Z)
• Neural Sculpting: Uncovering hierarchically modular task structure in neural networks through pruning and network analysis [8.080026425139708]
  階層的なモジュラーニューラルネットワークは、学習効率、一般化、マルチタスク学習、転送などの利点を提供する。 本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-05-28T15:12:32Z)
• The Group Loss++: A deeper look into group loss for deep metric learning [65.19665861268574]
  グループ損失 (Group Loss) は、グループの全サンプルに埋め込まれた類似性を強制する微分可能なラベルプロパゲーション法に基づく損失関数である。 4つのデータセットでクラスタリングと画像検索の最先端結果を示し、2人の再識別データセットで競合結果を示す。
  論文  参考訳（メタデータ） (2022-04-04T14:09:58Z)
• Computing Class Hierarchies from Classifiers [12.631679928202516]
  ニューラルネットワークからクラス階層を自動的に取得する新しいアルゴリズムを提案する。 我々のアルゴリズムは、よく知られたディープニューラルネットワークモデルに驚くほど優れた階層を生成する。
  論文  参考訳（メタデータ） (2021-12-02T13:01:04Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Fuzzy Simplicial Networks: A Topology-Inspired Model to Improve Task Generalization in Few-shot Learning [1.0062040918634414]
  少ないショット学習アルゴリズムは、限られたデータで新しいタスクをうまく一般化するように設計されている。 本稿では,Fizzy Simplicial Networks (FSN) と呼ばれる,トポロジから構築したモデルを用いて,限られたデータから各クラスをより柔軟に表現する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-23T17:01:09Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• Adaptive Hierarchical Decomposition of Large Deep Networks [4.272649614101117]
  データセットが大きくなるにつれて、既存のディープラーニングアーキテクチャが一般的な人間によって認識可能な50以上のクラスを扱うように拡張できるかどうかという自然な疑問がある。 本稿では,単一大規模ネットワークの代替として,より小さなディープネットワーク群を自動解析し,構成するフレームワークを提案する。 結果として、より小さなネットワークは、高度にスケーラブルで、並列であり、訓練もより実践的であり、より高い分類精度を達成する。
  論文  参考訳（メタデータ） (2020-07-17T21:04:50Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。