論文の概要: Towards understanding deep learning with the natural clustering prior

• arxiv url: http://arxiv.org/abs/2203.08174v1
• Date: Tue, 15 Mar 2022 18:07:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 10:23:26.728591
• Title: Towards understanding deep learning with the natural clustering prior
• Title（参考訳）: 自然クラスタリングによる深層学習の理解に向けて
• Authors: Simon Carbonnelle
• Abstract要約: この論文は、3つの文からなる自然クラスタリングの暗黙の統合について考察する。 クラスを複数のクラスタに分解することで、教師なしのディープラーニングシステムは、教師なしクラスタリングの恩恵を受けることができ、適切な決定境界を定義することができる。 我々は、深層ニューラルネットワークのニューロンレベルと層レベルの表現と同様に、トレーニングダイナミクスに関する広範な実証的研究を通じてこれを行ないます。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The prior knowledge (a.k.a. priors) integrated into the design of a machine learning system strongly influences its generalization abilities. In the specific context of deep learning, some of these priors are poorly understood as they implicitly emerge from the successful heuristics and tentative approximations of biological brains involved in deep learning design. Through the lens of supervised image classification problems, this thesis investigates the implicit integration of a natural clustering prior composed of three statements: (i) natural images exhibit a rich clustered structure, (ii) image classes are composed of multiple clusters and (iii) each cluster contains examples from a single class. The decomposition of classes into multiple clusters implies that supervised deep learning systems could benefit from unsupervised clustering to define appropriate decision boundaries. Hence, this thesis attempts to identify implicit clustering abilities, mechanisms and hyperparameters in deep learning systems and evaluate their relevance for explaining the generalization abilities of these systems. We do so through an extensive empirical study of the training dynamics as well as the neuron- and layer-level representations of deep neural networks. The resulting collection of experiments provides preliminary evidence for the relevance of the natural clustering prior for understanding deep learning.
• Abstract（参考訳）: 機械学習システムの設計に統合された事前知識(事前知識)は、その一般化能力に強く影響する。 深層学習の特定の文脈では、これらの先行課題のいくつかは、深層学習設計に関わる生体脳のヒューリスティックスと仮近似から暗黙的に現れるため、あまり理解されていない。 本論文は,教師付き画像分類問題のレンズを通して,3つの文からなる自然クラスタリングの暗黙的統合について検討する。 (i)自然画像は、豊かなクラスター構造を示す。 (ii)画像クラスは複数のクラスタから構成され、 (iii) 各クラスタは、単一のクラスの例を含む。 クラスを複数のクラスタに分解することは、教師なしのクラスタリングにより、教師なしのディープラーニングシステムが適切な決定境界を定義することができることを意味する。 そこで本論文は,深層学習システムにおける暗黙的なクラスタリング能力,機構,ハイパーパラメータを同定し,それらの一般化能力を説明する上での妥当性を評価することを目的としている。 我々は、深層ニューラルネットワークのニューロンおよび層レベルでの表現だけでなく、トレーニングダイナミクスの広範な実証研究を通じてこれを行う。 その結果得られた実験のコレクションは、ディープラーニングを理解する前に自然クラスタリングの関連性に関する予備的な証拠を提供する。

関連論文リスト

• Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition [83.13280812128411]
  近年の研究では、グラッキング、二重降下、大規模言語モデルにおける創発的能力など、ディープラーニングにおける興味深い現象が明らかにされている。 本稿では,記憶回路と一般化回路の競合に着目し,これら3つの現象の統一的な見方を提供する包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:14:36Z)
• Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision [25.449397570387802]
  本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。 我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。 データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
  論文  参考訳（メタデータ） (2023-12-28T07:33:51Z)
• An effective theory of collective deep learning [1.3812010983144802]
  我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。 線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。 MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
  論文  参考訳（メタデータ） (2023-10-19T14:58:20Z)
• Deep Clustering: A Comprehensive Survey [53.387957674512585]
  クラスタリング分析は、機械学習とデータマイニングにおいて必須の役割を果たす。 ディープ・クラスタリングは、ディープ・ニューラルネットワークを使ってクラスタリングフレンドリーな表現を学習することができるが、幅広いクラスタリングタスクに広く適用されている。 ディープクラスタリングに関する既存の調査は、主にシングルビューフィールドとネットワークアーキテクチャに焦点を当てており、クラスタリングの複雑なアプリケーションシナリオを無視している。
  論文  参考訳（メタデータ） (2022-10-09T02:31:32Z)
• A Comprehensive Survey on Deep Clustering: Taxonomy, Challenges, and Future Directions [48.97008907275482]
  クラスタリングは、文献で広く研究されている基本的な機械学習タスクである。 ディープクラスタリング(Deep Clustering)、すなわち表現学習とクラスタリングを共同で最適化する手法が提案され、コミュニティで注目を集めている。 深層クラスタリングの本質的なコンポーネントを要約し、深層クラスタリングと深層クラスタリングの相互作用を設計する方法によって既存の手法を分類する。
  論文  参考訳（メタデータ） (2022-06-15T15:05:13Z)
• DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep Neural Networks [53.88811980967342]
  本稿では,Ensembles (DeepCluE) を用いたDeep Clusteringを提案する。 ディープニューラルネットワークにおける複数のレイヤのパワーを活用することで、ディープクラスタリングとアンサンブルクラスタリングのギャップを埋める。 6つの画像データセットの実験結果から、最先端のディープクラスタリングアプローチに対するDeepCluEの利点が確認されている。
  論文  参考訳（メタデータ） (2022-06-01T09:51:38Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
  Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。 従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。 コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
  論文  参考訳（メタデータ） (2021-03-03T20:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。