論文の概要: Sparse, Geometric Autoencoder Models of V1

• arxiv url: http://arxiv.org/abs/2302.11162v1
• Date: Wed, 22 Feb 2023 06:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 16:18:10.702420
• Title: Sparse, Geometric Autoencoder Models of V1
• Title（参考訳）: V1のスパース・幾何学的オートエンコーダモデル
• Authors: Jonathan Huml, Abiy Tasissa, Demba Ba
• Abstract要約: 本稿では,潜在表現が暗黙的に暗黙的に,スペクトルクラスタリングのために局所的に整理されたオートエンコーダアーキテクチャを提案する。 オートエンコーダの目的関数はスパース符号化フレームワークの中核的な概念を保ちつつも、受容領域の微分を記述するための有望な経路を提供することを示す。
• 参考スコア（独自算出の注目度）: 2.491226380993217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The classical sparse coding model represents visual stimuli as a linear combination of a handful of learned basis functions that are Gabor-like when trained on natural image data. However, the Gabor-like filters learned by classical sparse coding far overpredict well-tuned simple cell receptive field (SCRF) profiles. A number of subsequent models have either discarded the sparse dictionary learning framework entirely or have yet to take advantage of the surge in unrolled, neural dictionary learning architectures. A key missing theme of these updates is a stronger notion of \emph{structured sparsity}. We propose an autoencoder architecture whose latent representations are implicitly, locally organized for spectral clustering, which begets artificial neurons better matched to observed primate data. The weighted-$\ell_1$ (WL) constraint in the autoencoder objective function maintains core ideas of the sparse coding framework, yet also offers a promising path to describe the differentiation of receptive fields in terms of a discriminative hierarchy in future work.
• Abstract（参考訳）: 古典的なスパース符号化モデルは、視覚刺激を、自然画像データで訓練されたときにガボルのような一握りの学習基底関数の線形結合として表現する。 しかし、古典的なスパース符号化によって学習されたGaborライクなフィルタは、十分に調整された単純な細胞受容野(SCRF)プロファイルをはるかに過度に予測する。 その後の多くのモデルでは、スパース辞書学習フレームワークを完全に廃止するか、あるいは未登録のニューラルネットワーク辞書学習アーキテクチャの急増を生かしていない。 これらの更新で欠けている重要なテーマは、より強固な概念である \emph{structured sparsity}である。 本研究では, 潜在表現が暗黙的に, スペクトルクラスタリングのために局所的に整理され, 観察された霊長類データによくマッチする人工ニューロンを得るオートエンコーダアーキテクチャを提案する。 オートエンコーダ対象関数の重み付き$$\ell_1$ (WL)制約はスパースコーディングフレームワークの中核的な概念を維持できるが、将来の作業における差別的階層の観点から、受容的フィールドの微分を記述するための有望な経路も提供する。

関連論文リスト

• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• Clustering Inductive Biases with Unrolled Networks [4.47196217712431]
  本稿では,2部グラフのラプラシア二次形式を通してスペクトルクラスタリングを行うために,潜在表現を暗黙的に局所的に整理したオートエンコーダアーキテクチャ(WLSC)を提案する。 我々の正規化は、ある種の刺激のクラスに対する受容野の早期特殊化と解釈できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T02:02:30Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
  本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。 具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
  論文  参考訳（メタデータ） (2023-05-30T01:38:54Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization [0.0]
  我々は最近提案されたsparse coding variational autoencoder (svae) に着目した。 単位ノルムへのフィルタの投影がアクティブフィルタの数を劇的に増加させることを示す。 本結果は,データから疎表現を学習する上での重み正規化の重要性を強調した。
  論文  参考訳（メタデータ） (2021-01-23T08:07:20Z)
• The Interpretable Dictionary in Sparse Coding [4.205692673448206]
  我々の研究では、スパースコーディングを特定の空間的制約の下で訓練したANNが、標準的なディープラーニングモデルよりも解釈可能なモデルを生成することを説明している。 スパース符号で学習した辞書はより容易に理解でき、これらの要素の活性化は選択的な特徴出力を生成する。
  論文  参考訳（メタデータ） (2020-11-24T00:26:40Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。