論文の概要: Statistical signatures of abstraction in deep neural networks

• arxiv url: http://arxiv.org/abs/2407.01656v1
• Date: Mon, 1 Jul 2024 14:13:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 19:52:16.173873
• Title: Statistical signatures of abstraction in deep neural networks
• Title（参考訳）: ディープニューラルネットワークにおける抽象化の統計的シグネチャ
• Authors: Carlo Orientale Caputo, Matteo Marsili,
• Abstract要約: 我々は、ベンチマークデータセットに基づいてトレーニングされたDeep Belief Network(DBN)において、抽象表現がどのように現れるかを研究する。 表現は最大関連性の原理によって決定される普遍モデルに近づくことを示す。 また、プラスチック度は脳のそれと同じような深さで増加することも示しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how abstract representations emerge in a Deep Belief Network (DBN) trained on benchmark datasets. Our analysis targets the principles of learning in the early stages of information processing, starting from the "primordial soup" of the under-sampling regime. As the data is processed by deeper and deeper layers, features are detected and removed, transferring more and more "context-invariant" information to deeper layers. We show that the representation approaches an universal model -- the Hierarchical Feature Model (HFM) -- determined by the principle of maximal relevance. Relevance quantifies the uncertainty on the model of the data, thus suggesting that "meaning" -- i.e. syntactic information -- is that part of the data which is not yet captured by a model. Our analysis shows that shallow layers are well described by pairwise Ising models, which provide a representation of the data in terms of generic, low order features. We also show that plasticity increases with depth, in a similar way as it does in the brain. These findings suggest that DBNs are capable of extracting a hierarchy of features from the data which is consistent with the principle of maximal relevance.
• Abstract（参考訳）: 我々は、ベンチマークデータセットに基づいてトレーニングされたDeep Belief Network(DBN)において、抽象表現がどのように現れるかを研究する。 我々は,情報処理の初期段階における学習の原則を,アンダーサンプリング体制の「原始スープ」から分析する。 データが深く深いレイヤによって処理されるにつれて、機能が検出され、削除され、より多くの"コンテキスト不変"情報がより深いレイヤに転送される。 本稿では, 階層的特徴モデル (Hierarchical Feature Model, HFM) が, 最大関連性の原理によって決定される普遍モデルに近づくことを示す。 関連性(Relevance)は、データのモデルにおける不確実性を定量化するため、"統語論的情報"の意味は、まだモデルによって取得されていないデータの一部であることを示唆する。 解析の結果、浅層層はペアワイズ・イジング・モデルによってよく説明され、汎用的で低次な特徴の観点からデータの表現を提供することがわかった。 また、プラスチック度は脳のそれと同じような深さで増加することも示しています。 これらの結果から,DBNは最大関連性の原理と整合したデータから特徴階層を抽出できる可能性が示唆された。

関連論文リスト

• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
  モデルベース強化学習(RL)のための修正目的を提案する。 相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。 本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
  論文  参考訳（メタデータ） (2022-04-18T23:09:23Z)
• Online Deep Learning based on Auto-Encoder [4.128388784932455]
  オートエンコーダ(ODLAE)に基づく2段階オンライン深層学習を提案する。 復元損失を考慮した自動エンコーダを用いて,インスタンスの階層的潜在表現を抽出する。 我々は,各隠れ層の分類結果を融合して得られる出力レベル融合戦略と,隠れ層の出力を融合させる自己保持機構を利用した特徴レベル融合戦略の2つの融合戦略を考案した。
  論文  参考訳（メタデータ） (2022-01-19T02:14:57Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)
• Hierarchical Representation via Message Propagation for Robust Model Fitting [28.03005930782681]
  堅牢なモデルフィッティングのためのメッセージ伝搬(HRMP)法による新しい階層表現を提案する。 コンセンサス情報と選好情報を階層的表現として定式化し、粗悪な外れ値に対する感度を緩和する。 提案するhrmpは,複数のモデルインスタンスの数とパラメータを正確に推定するだけでなく,多数の異常値で汚染されたマルチストラクショナルデータを処理できる。
  論文  参考訳（メタデータ） (2020-12-29T04:14:19Z)
• Explaining Convolutional Neural Networks through Attribution-Based Input Sampling and Block-Wise Feature Aggregation [22.688772441351308]
  クラスアクティベーションマッピングとランダムな入力サンプリングに基づく手法が広く普及している。 しかし、帰属法は、その説明力を制限した解像度とぼやけた説明地図を提供する。 本研究では、帰属型入力サンプリング技術に基づいて、モデルの複数の層から可視化マップを収集する。 また,CNNモデル全体に適用可能な層選択戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-01T20:27:30Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。