論文の概要: An unsupervised tour through the hidden pathways of deep neural networks

• arxiv url: http://arxiv.org/abs/2510.21582v2
• Date: Tue, 28 Oct 2025 06:37:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 13:20:32.877333
• Title: An unsupervised tour through the hidden pathways of deep neural networks
• Title（参考訳）: ディープニューラルネットワークの隠された経路を通る教師なしツアー
• Authors: Diego Doimo,
• Abstract要約: この論文は、教師なし学習ツールによる隠蔽表現の意味的内容の特徴付けに焦点を当てている。 第3章では、最先端のディープニューラルネットワークにおいて、隠れた層にまたがる確率密度の進化について検討する。 第4章では、ディープニューラルネットワークにおける一般化の問題について検討する。
• 参考スコア（独自算出の注目度）: 6.063903439185316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of this thesis is to improve our understanding of the internal mechanisms by which deep artificial neural networks create meaningful representations and are able to generalize. We focus on the challenge of characterizing the semantic content of the hidden representations with unsupervised learning tools, partially developed by us and described in this thesis, which allow harnessing the low-dimensional structure of the data. Chapter 2. introduces Gride, a method that allows estimating the intrinsic dimension of the data as an explicit function of the scale without performing any decimation of the data set. Our approach is based on rigorous distributional results that enable the quantification of uncertainty of the estimates. Moreover, our method is simple and computationally efficient since it relies only on the distances among nearest data points. In Chapter 3, we study the evolution of the probability density across the hidden layers in some state-of-the-art deep neural networks. We find that the initial layers generate a unimodal probability density getting rid of any structure irrelevant to classification. In subsequent layers, density peaks arise in a hierarchical fashion that mirrors the semantic hierarchy of the concepts. This process leaves a footprint in the probability density of the output layer, where the topography of the peaks allows reconstructing the semantic relationships of the categories. In Chapter 4, we study the problem of generalization in deep neural networks: adding parameters to a network that interpolates its training data will typically improve its generalization performance, at odds with the classical bias-variance trade-off. We show that wide neural networks learn redundant representations instead of overfitting to spurious correlation and that redundant neurons appear only if the network is regularized and the training error is zero.
• Abstract（参考訳）: この論文の目的は、深い人工知能ニューラルネットワークが意味のある表現を作成し、一般化できる内部メカニズムの理解を改善することである。 我々は,非教師付き学習ツールによる隠蔽表現のセマンティックコンテンツの特徴付けという課題に焦点をあて,この論文で述べるように,データの低次元構造を活用できる。 第2章。 Grideは、データセットのデシミテーションを実行することなく、スケールの明示的な関数として、データの本質的な次元を推定できるメソッドである。 我々のアプローチは、推定の不確実性の定量化を可能にする厳密な分布結果に基づいている。 さらに,最も近いデータ点間の距離にのみ依存するため,本手法は単純かつ計算効率がよい。 第3章では、最先端のディープニューラルネットワークにおいて、隠れた層にまたがる確率密度の進化について検討する。 初期層は, 分類に関係のない構造を排除し, 一様確率密度を生成する。 その後の層では、密度ピークは概念のセマンティックな階層を反映する階層的な方法で生じる。 このプロセスは出力層の確率密度のフットプリントを残し、ピークのトポグラフィーはカテゴリのセマンティックな関係を再構築することができる。 第4章では、ディープニューラルネットワークにおける一般化の問題について検討し、トレーニングデータを補間するネットワークにパラメータを追加することにより、古典的バイアス分散トレードオフに反する一般化性能が向上することを示した。 広範ニューラルネットワークは、刺激的な相関に過度に適合せず、冗長な表現を学習し、ネットワークが正規化され、トレーニングエラーがゼロである場合にのみ冗長なニューロンが現れることを示す。

関連論文リスト

• A Graph Sufficiency Perspective for Neural Networks [4.872570541276082]
  本稿では,グラフ変数と統計的十分性を用いてニューラルネットワークを解析する。 ニューラルネットワーク層をグラフベースの変換として解釈し、ニューロンが入力と学習アンカーポイントのペア機能として機能する。 我々のフレームワークは、完全に接続された層、一般的なペアワイズ関数、ReLUとシグモノイドの活性化、畳み込みニューラルネットワークを網羅している。
  論文  参考訳（メタデータ） (2025-07-14T12:31:47Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。