論文の概要: Self-supervised local learning rules learn the hidden hierarchical structure of high-dimensional data

• arxiv url: http://arxiv.org/abs/2605.18557v1
• Date: Mon, 18 May 2026 15:37:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.918299
• Title: Self-supervised local learning rules learn the hidden hierarchical structure of high-dimensional data
• Title（参考訳）: 自己教師付き局所学習規則は高次元データの隠れ階層構造を学習する
• Authors: Ariane Delrocq, Wu S. Zihan, Guillaume Bellec, Wulfram Gerstner,
• Abstract要約: ニューラルネットワークが高次元データの固有階層構造をどのように学習するかを考察する。 長い収束時間と対称誤差ネットワークの使用の両方を避けるための2種類の局所学習ルールに着目した。
• 参考スコア（独自算出の注目度）: 6.184770966699031
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The brain learns abstract representations of high-dimensional sensory input, but the plasticity rules that enable such learning are unknown. We study biologically plausible algorithms on the Random Hierarchy Model (RHM), an artificial dataset designed to investigate how deep neural networks learn the intrinsic hierarchical structure of high-dimensional data. We focus on two types of local learning rules that avoid both a long convergence time and the use of a symmetric error network. The first type uses direct feedback signals to approximate error propagation from the output layer. The second type uses layerwise self-supervised contrastive or non-contrastive loss functions that do not explicitly approximate errors at the output layer. We show that all rules of the first type fail to solve the tasks of the RHM and trace this failure back to input-specific nonlinearities (`masking') that are implemented in full backpropagation and are essential for learning complex tasks. However, algorithms of the second type are able to learn the hierarchical hidden structure of the RHM tasks and are as data-efficient as supervised backpropagation training, while being compatible with known rules of synaptic plasticity in cortex.
• Abstract（参考訳）: 脳は高次元感覚入力の抽象的な表現を学習するが、そのような学習を可能にする可塑性規則は不明である。 RHM(Random Hierarchy Model)は、ニューラルネットワークが高次元データの固有階層構造をどのように学習するかを研究するために設計された人工データセットである。 長い収束時間と対称誤差ネットワークの使用の両方を避けるための2種類の局所学習ルールに着目した。 第1のタイプは、直接フィードバック信号を使用して出力層からのエラー伝搬を近似する。 第2のタイプは、出力層でのエラーを明示的に近似しない層単位で自己教師付きコントラストまたは非コントラスト損失関数を使用する。 第1型のすべてのルールは、RHMのタスクを解くのに失敗し、この失敗を完全なバックプロパゲーションで実装され、複雑なタスクの学習に不可欠である入力固有の非線形性("masking")に遡ることを示す。 しかし、第2型のアルゴリズムは、RHMタスクの階層的な隠れ構造を学習することができ、皮質のシナプス可塑性の既知の規則と互換性を持ちながら、教師付きバックプロパゲーショントレーニングと同じくらいデータ効率が高い。

関連論文リスト

• Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions [20.036783417617652]
  勾配に基づくアルゴリズムを用いて学習した2層浅層ニューラルネットワークのトレーニング力学について検討する。 理想化シングルパス勾配勾配学習シナリオの簡単な修正により,その計算効率が大幅に向上することを示す。 この結果から,ネットワークが事前処理なしでデータから関連構造を学習できることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:34:31Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Stacked unsupervised learning with a network architecture found by supervised meta-learning [4.209801809583906]
  階層化された教師なし学習は、バックプロパゲーションよりも生物学的に妥当に思える。 しかし、SULは実践的な応用においてバックプロパゲーションには程遠い。 MNIST桁の完全教師なしクラスタリングが可能なSULアルゴリズムを示す。
  論文  参考訳（メタデータ） (2022-06-06T16:17:20Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks [14.685237010856953]
  我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。 バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-09-30T12:56:57Z)
• Unsupervised Deep Learning by Injecting Low-Rank and Sparse Priors [5.5586788751870175]
  我々は,高次元データの性質を簡潔に捉えるために,深層学習に疎結合を取り入れることに重点を置いている。 低ランクおよびスパース先行値を用いたバックグラウンドサブトラクションのための教師なしU-Net学習を実演する。
  論文  参考訳（メタデータ） (2021-06-21T08:41:02Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。