論文の概要: Layerwise complexity-matched learning yields an improved model of cortical area V2
- arxiv url: http://arxiv.org/abs/2312.11436v3
- Date: Thu, 18 Jul 2024 23:41:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 00:06:44.539065
- Title: Layerwise complexity-matched learning yields an improved model of cortical area V2
- Title（参考訳）: 階層的複雑性マッチング学習は皮質領域V2の改良モデルをもたらす
- Authors: Nikhil Parthasarathy, Olivier J. Hénaff, Eero P. Simoncelli,
- Abstract要約: ディープニューラルネットワークは、人間の能力にアプローチするオブジェクト認識のためのエンドツーエンドを訓練した。
我々は,連続する層に独立して機能する自己指導型トレーニング手法を開発した。
本モデルは, 霊長類領域V2における選択性特性と神経活動に適合していることが示唆された。
- 参考スコア（独自算出の注目度）: 12.861402235256207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human ability to recognize complex visual patterns arises through transformations performed by successive areas in the ventral visual cortex. Deep neural networks trained end-to-end for object recognition approach human capabilities, and offer the best descriptions to date of neural responses in the late stages of the hierarchy. But these networks provide a poor account of the early stages, compared to traditional hand-engineered models, or models optimized for coding efficiency or prediction. Moreover, the gradient backpropagation used in end-to-end learning is generally considered to be biologically implausible. Here, we overcome both of these limitations by developing a bottom-up self-supervised training methodology that operates independently on successive layers. Specifically, we maximize feature similarity between pairs of locally-deformed natural image patches, while decorrelating features across patches sampled from other images. Crucially, the deformation amplitudes are adjusted proportionally to receptive field sizes in each layer, thus matching the task complexity to the capacity at each stage of processing. In comparison with architecture-matched versions of previous models, we demonstrate that our layerwise complexity-matched learning (LCL) formulation produces a two-stage model (LCL-V2) that is better aligned with selectivity properties and neural activity in primate area V2. We demonstrate that the complexity-matched learning paradigm is responsible for much of the emergence of the improved biological alignment. Finally, when the two-stage model is used as a fixed front-end for a deep network trained to perform object recognition, the resultant model (LCL-V2Net) is significantly better than standard end-to-end self-supervised, supervised, and adversarially-trained models in terms of generalization to out-of-distribution tasks and alignment with human behavior.
- Abstract（参考訳）: 複雑な視覚パターンを認識する人間の能力は、腹側視覚野の連続した領域によって行われる変換によって生じる。
ディープニューラルネットワークは、人間の能力にアプローチするオブジェクト認識のためのエンドツーエンドをトレーニングし、階層の後半における神経応答の現在までの最良の説明を提供する。
しかしこれらのネットワークは、従来の手作りのモデルや、コーディングの効率や予測に最適化されたモデルと比べて、初期の段階をうまく説明していない。
さらに、エンド・ツー・エンド・ラーニングで用いられる勾配のバックプロパゲーションは、一般に生物学的に不可能であると考えられている。
ここでは,これら2つの制限を克服し,連続した層に独立して機能するボトムアップ型自己教師型トレーニング方法論を開発する。
具体的には、局所的に変形した自然画像パッチのペア間の特徴的類似性を最大化するとともに、他の画像からサンプリングされたパッチ間の特徴をデコレーションする。
重要なことに、変形振幅は各層の受容磁場サイズに比例して調整され、処理の各段階でのタスク複雑性とキャパシティとが一致する。
先行モデルのアーキテクチャマッチングバージョンと比較して,我々の階層的複雑性マッチング学習(LCL)の定式化が,霊長類領域V2における選択性特性と神経活動に適合した2段階モデル(LCL-V2)を生成することを示した。
複雑に整合した学習パラダイムが、改良された生物学的アライメントの出現の大部分を担っていることを実証する。
最後に、オブジェクト認識を行うために訓練されたディープネットワークの固定フロントエンドとして2段階モデルを使用する場合、結果モデル(LCL-V2Net)は、分布外タスクへの一般化と人間の行動との整合性の観点から、標準のエンドツーエンドの自己監督モデル、教師付きモデル、対角訓練モデルよりも大幅に優れている。
関連論文リスト
- Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers [20.25049261035324]
解析は、完全にトレーニング可能な層を持つ2層ReLU畳み込みニューラルネットワーク(CNN)に拡張する。
以上の結果から,出力層のスケーリングがトレーニングのダイナミックスに不可欠であることが示唆された。
どちらの設定でも、テストエラーの上限と下限にほぼ一致するものを提供します。
論文 参考訳（メタデータ） (2024-10-24T20:15:45Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Unbiased Learning of Deep Generative Models with Structured Discrete
Representations [7.9057320008285945]
構造化可変オートエンコーダ(SVAE)の学習のための新しいアルゴリズムを提案する。
我々はSVAEがデータの欠落時に個別の潜伏変数を組み込むことでマルチモーダル不確実性を扱う能力を初めて示す。
メモリ効率の高い暗黙差分法により,SVAEは不完全最適化に対して頑健さを示しつつ,勾配降下により学習しやすくなった。
論文 参考訳（メタデータ） (2023-06-14T03:59:21Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。
第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。
本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-13T09:51:16Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - Improving Neural Predictivity in the Visual Cortex with Gated Recurrent
Connections [0.0]
我々は,腹側視覚ストリームのユビキタスな特徴である横方向のリカレント接続を考慮したアーキテクチャに焦点を移し,適応的受容場を創出することを目指している。
本研究は,我々のアプローチの堅牢性と活性化の生物学的忠実性を高めるために,特定のデータ拡張技術を用いている。
論文 参考訳（メタデータ） (2022-03-22T17:27:22Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Adaptive Memory Networks with Self-supervised Learning for Unsupervised
Anomaly Detection [54.76993389109327]
教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。
本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。
AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
論文 参考訳（メタデータ） (2022-01-03T03:40:21Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Sparse Coding Driven Deep Decision Tree Ensembles for Nuclear
Segmentation in Digital Pathology Images [15.236873250912062]
デジタル病理画像セグメンテーションタスクにおいて、ディープニューラルネットワークと高い競争力を持つ、容易に訓練されながら強力な表現学習手法を提案する。
ScD2TEと略すこの手法はスパースコーディング駆動の深層決定木アンサンブルと呼ばれ、表現学習の新しい視点を提供する。
論文 参考訳（メタデータ） (2020-08-13T02:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。