論文の概要: Statistical signatures of abstraction in deep neural networks

• arxiv url: http://arxiv.org/abs/2407.01656v2
• Date: Tue, 01 Oct 2024 12:39:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:33:13.247822
• Title: Statistical signatures of abstraction in deep neural networks
• Title（参考訳）: ディープニューラルネットワークにおける抽象化の統計的シグネチャ
• Authors: Carlo Orientale Caputo, Matteo Marsili,
• Abstract要約: 我々は、ベンチマークデータセットに基づいてトレーニングされたDeep Belief Network(DBN)において、抽象表現がどのように現れるかを研究する。 表現は最大関連性の原理によって決定される普遍モデルに近づくことを示す。 また、プラスチック度は脳のそれと同じような深さで増加することも示しています。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We study how abstract representations emerge in a Deep Belief Network (DBN) trained on benchmark datasets. Our analysis targets the principles of learning in the early stages of information processing, starting from the "primordial soup" of the under-sampling regime. As the data is processed by deeper and deeper layers, features are detected and removed, transferring more and more "context-invariant" information to deeper layers. We show that the representation approaches an universal model -- the Hierarchical Feature Model (HFM) -- determined by the principle of maximal relevance. Relevance quantifies the uncertainty on the model of the data, thus suggesting that "meaning" -- i.e. syntactic information -- is that part of the data which is not yet captured by a model. Our analysis shows that shallow layers are well described by pairwise Ising models, which provide a representation of the data in terms of generic, low order features. We also show that plasticity increases with depth, in a similar way as it does in the brain. These findings suggest that DBNs are capable of extracting a hierarchy of features from the data which is consistent with the principle of maximal relevance.
• Abstract（参考訳）: 我々は、ベンチマークデータセットに基づいてトレーニングされたDeep Belief Network(DBN)において、抽象表現がどのように現れるかを研究する。 我々は,情報処理の初期段階における学習の原則を,アンダーサンプリング体制の「原始スープ」から分析する。 データが深く深いレイヤによって処理されるにつれて、機能が検出され、削除され、より多くの"コンテキスト不変"情報がより深いレイヤに転送される。 本稿では, 階層的特徴モデル (Hierarchical Feature Model, HFM) が, 最大関連性の原理によって決定される普遍モデルに近づくことを示す。 関連性(Relevance)は、データのモデルにおける不確実性を定量化するため、"統語論的情報"の意味は、まだモデルによって取得されていないデータの一部であることを示唆する。 解析の結果、浅層層はペアワイズ・イジング・モデルによってよく説明され、汎用的で低次な特徴の観点からデータの表現を提供することがわかった。 また、プラスチック度は脳のそれと同じような深さで増加することも示しています。 これらの結果から,DBNは最大関連性の原理と整合したデータから特徴階層を抽出できる可能性が示唆された。

関連論文リスト

• Robust Shape Fitting for 3D Scene Abstraction [33.84212609361491]
  特に,キュービドやシリンダーなどのボリュームプリミティブを用いて人工環境を記述することができる。 プリミティブフィッティングのためのロバストな推定器を提案し、キュービドを用いて複雑な現実世界環境を有意に抽象化する。 NYU Depth v2データセットの結果、提案アルゴリズムは、乱雑な現実世界の3Dシーンレイアウトをうまく抽象化することを示した。
  論文  参考訳（メタデータ） (2024-03-15T16:37:43Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Primitive-based Shape Abstraction via Nonparametric Bayesian Inference [29.7543198254021]
  本稿では,未知数の幾何学的プリミティブからなる抽象化を点雲から推論する,新しい非パラメトリックベイズ統計法を提案する。 提案手法は精度において最先端の手法より優れており,様々な種類のオブジェクトに対して一般化可能である。
  論文  参考訳（メタデータ） (2022-03-28T13:00:06Z)
• Online Deep Learning based on Auto-Encoder [4.128388784932455]
  オートエンコーダ(ODLAE)に基づく2段階オンライン深層学習を提案する。 復元損失を考慮した自動エンコーダを用いて,インスタンスの階層的潜在表現を抽出する。 我々は,各隠れ層の分類結果を融合して得られる出力レベル融合戦略と,隠れ層の出力を融合させる自己保持機構を利用した特徴レベル融合戦略の2つの融合戦略を考案した。
  論文  参考訳（メタデータ） (2022-01-19T02:14:57Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• A Light-weight Interpretable CompositionalNetwork for Nuclei Detection and Weakly-supervised Segmentation [10.196621315018884]
  ディープニューラルネットワークは通常、膨大なパラメータをトレーニングするために大量の注釈付きデータを必要とする。 我々は,特に孤立した核に部分的なアノテーションを必要とするデータ効率モデルを構築することを提案する。
  論文  参考訳（メタデータ） (2021-10-26T16:44:08Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Extracting Semantic Indoor Maps from Occupancy Grids [2.4214518935746185]
  室内環境のセマンティックマッピングに着目した。 ベイジアン推論を用いて,典型的なグリッドマップから抽象フロアプランを抽出する手法を提案する。 実世界のデータを用いたアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2020-02-19T18:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。