論文の概要: On the universality of neural encodings in CNNs

• arxiv url: http://arxiv.org/abs/2409.19460v1
• Date: Sat, 28 Sep 2024 21:30:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 23:07:28.757907
• Title: On the universality of neural encodings in CNNs
• Title（参考訳）: CNNにおけるニューラルエンコーディングの普遍性について
• Authors: Florentin Guth, Brice Ménard,
• Abstract要約: 学習された固有ベクトルは、VGG型ネットワークの様々な層に対して、異なる自然画像データセットにまたがって普遍的であることを示す。 彼らは、より基本的なレベルで、トランスファーラーニングの成功を説明する。
• 参考スコア（独自算出の注目度）: 5.064404027153094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore the universality of neural encodings in convolutional neural networks trained on image classification tasks. We develop a procedure to directly compare the learned weights rather than their representations. It is based on a factorization of spatial and channel dimensions and measures the similarity of aligned weight covariances. We show that, for a range of layers of VGG-type networks, the learned eigenvectors appear to be universal across different natural image datasets. Our results suggest the existence of a universal neural encoding for natural images. They explain, at a more fundamental level, the success of transfer learning. Our work shows that, instead of aiming at maximizing the performance of neural networks, one can alternatively attempt to maximize the universality of the learned encoding, in order to build a principled foundation model.
• Abstract（参考訳）: 画像分類タスクを訓練した畳み込みニューラルネットワークにおけるニューラルエンコーディングの普遍性について検討する。 そこで我々は,学習したウェイトを直接比較する手法を開発した。 これは空間次元とチャネル次元の分解に基づいており、整列した重みの共分散の類似度を測定する。 学習された固有ベクトルは、VGG型ネットワークの様々な層に対して、異なる自然画像データセットにまたがって普遍的であることを示す。 この結果から,自然画像に対する普遍的ニューラルエンコーディングの存在が示唆された。 彼らは、より基本的なレベルで、トランスファーラーニングの成功を説明する。 我々の研究は、ニューラルネットワークの性能を最大化する代わりに、学習された符号化の普遍性を最大化して、原理化された基礎モデルを構築することができることを示している。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Understanding the Role of Pathways in a Deep Neural Network [4.456675543894722]
  分類タスクで訓練された畳み込みニューラルネットワーク(CNN)を分析し,個々の画素の拡散経路を抽出するアルゴリズムを提案する。 画像からの個々のピクセルの最も大きな経路は、分類に重要な各層の特徴マップを横断する傾向にある。
  論文  参考訳（メタデータ） (2024-02-28T07:53:19Z)
• System Identification of Neural Systems: Going Beyond Images to Modelling Dynamics [2.3825930751052358]
  本稿では,ビデオ刺激を用いた視覚野記録について,映像理解モデルの比較に焦点をあてた最初の大規模研究を提案する。 映像理解モデルが視覚野の反応を予測する方法について重要な知見を提供する。 本稿では,最高の映像理解モデル上に構築されたニューラルエンコーディング方式を提案する。
  論文  参考訳（メタデータ） (2024-02-19T20:29:49Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Neural Knitworks: Patched Neural Implicit Representation Networks [1.0470286407954037]
  画像合成を実現する自然画像の暗黙的表現学習のためのアーキテクチャであるKnitworkを提案する。 私たちの知る限りでは、画像のインペインティング、超解像化、デノイングといった合成作業に適した座標ベースのパッチの実装は、これが初めてである。 その結果, ピクセルではなくパッチを用いた自然な画像のモデリングにより, 忠実度が高い結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T13:10:46Z)
• Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling [79.15521784128102]
  画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。 空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。 空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:01:08Z)
• Global Adaptive Filtering Layer for Computer Vision [2.2758845733923687]
  我々は、コンピュータビジョンタスクを実行するベースニューラルネットワークの重みとともに、各画像に対して最適な周波数フィルタを「学習」するための、普遍的な適応型ニューラルネットワーク層を考案した。 提案手法は、空間領域のソース画像を取得し、周波数領域から最適な周波数を自動的に選択し、逆変換画像をメインニューラルネットワークに送信する。 ライトネットワークがパフォーマンス指標を著しく向上させるのに対して、適応層がメインアーキテクチャと並行して"学習"できる場合、重層トレーニングはより高速に収束する。
  論文  参考訳（メタデータ） (2020-10-02T19:43:49Z)
• Neural Cellular Automata Manifold [84.08170531451006]
  ニューラルセルラーオートマタのニューラルネットワークアーキテクチャは、より大きなNNにカプセル化可能であることを示す。 これにより、NAAの多様体を符号化する新しいモデルを提案し、それぞれが異なる画像を生成することができる。 生物学的には、我々のアプローチは転写因子の役割を担い、細胞の分化を促進する特定のタンパク質への遺伝子マッピングを調節する。
  論文  参考訳（メタデータ） (2020-06-22T11:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。