Fugu-MT 論文翻訳(概要): Clustering Inductive Biases with Unrolled Networks

論文の概要: Clustering Inductive Biases with Unrolled Networks

arxiv url: http://arxiv.org/abs/2402.10213v1
Date: Thu, 30 Nov 2023 02:02:30 GMT
ステータス: 処理完了
システム内更新日: 2024-03-18 07:28:31.139293
Title: Clustering Inductive Biases with Unrolled Networks
Title（参考訳）: Unrolled Networks によるインダクティブビアーゼのクラスタリング
Authors: Jonathan Huml, Abiy Tasissa, Demba Ba,
Abstract要約: 本稿では,2部グラフのラプラシア二次形式を通してスペクトルクラスタリングを行うために,潜在表現を暗黙的に局所的に整理したオートエンコーダアーキテクチャ(WLSC)を提案する。我々の正規化は、ある種の刺激のクラスに対する受容野の早期特殊化と解釈できることを示す。
参考スコア（独自算出の注目度）: 4.47196217712431
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The classical sparse coding (SC) model represents visual stimuli as a linear combination of a handful of learned basis functions that are Gabor-like when trained on natural image data. However, the Gabor-like filters learned by classical sparse coding far overpredict well-tuned simple cell receptive field profiles observed empirically. While neurons fire sparsely, neuronal populations are also organized in physical space by their sensitivity to certain features. In V1, this organization is a smooth progression of orientations along the cortical sheet. A number of subsequent models have either discarded the sparse dictionary learning framework entirely or whose updates have yet to take advantage of the surge in unrolled, neural dictionary learning architectures. A key missing theme of these updates is a stronger notion of \emph{structured sparsity}. We propose an autoencoder architecture (WLSC) whose latent representations are implicitly, locally organized for spectral clustering through a Laplacian quadratic form of a bipartite graph, which generates a diverse set of artificial receptive fields that match primate data in V1 as faithfully as recent contrastive frameworks like Local Low Dimensionality, or LLD \citep{lld} that discard sparse dictionary learning. By unifying sparse and smooth coding in models of the early visual cortex through our autoencoder, we also show that our regularization can be interpreted as early-stage specialization of receptive fields to certain classes of stimuli; that is, we induce a weak clustering bias for later stages of cortex where functional and spatial segregation (i.e. topography) are known to occur. The results show an imperative for \emph{spatial regularization} of both the receptive fields and firing rates to begin to describe feature disentanglement in V1 and beyond.
Abstract（参考訳）: 古典的スパース符号化(SC)モデルは、視覚刺激を、自然な画像データに基づいて訓練されたときにガボールに似た少数の学習基底関数の線形結合として表現する。しかし、古典的なスパース符号化によって学習されたガボール様フィルタは、経験的に観察された、十分に調整された単純細胞受容野プロファイルをはるかに過度に予測する。神経細胞はわずかに発火するが、特定の特徴に対する感受性によって、神経細胞の個体群も物理的空間で組織される。 V1では、この構造は皮質シートに沿った配向の円滑な進行である。その後のモデルのいくつかは、スパース辞書学習フレームワークを完全に破棄するか、あるいは未学習のニューラルネットワーク学習アーキテクチャの急増をまだ活用していない。これらの更新に欠けている重要なテーマは、より強力な概念である \emph{structured sparsity} である。本稿では,2部グラフのラプラシア二次形式を通したスペクトルクラスタリングのために,潜在表現を暗黙的に局所的に構成したオートエンコーダアーキテクチャ(WLSC)を提案する。オートエンコーダによる初期視覚野のモデルにおけるスパースとスムーズなコーディングを統一することにより、我々の正規化はある種の刺激のクラスに対する受容野の早期特殊化として解釈できることを示す。以上の結果から,V1以降の特徴的絡み合いを記述し始めるために,受容野と発射速度の両面において,emph{spatial regularization} が必須であることが示唆された。

関連論文リスト

Convolutional Neural Networks for Automated Cellular Automaton Classification [0.0]
コンピュータビジョン技術を用いて、5つのLi-Packardクラスに小セルオートマトンの自動分類を行う。まず、これまで開発されたディープラーニングアプローチが、実際にローカル更新ルールを特定するために訓練されていることを示す。次に、行動クラスを特定するのにほぼ完全に機能する畳み込みニューラルネットワークを示す。
論文参考訳（メタデータ） (2024-09-04T14:21:00Z)
Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-24T17:56:46Z)
Sparse, Geometric Autoencoder Models of V1 [2.491226380993217]
本稿では,潜在表現が暗黙的に暗黙的に,スペクトルクラスタリングのために局所的に整理されたオートエンコーダアーキテクチャを提案する。オートエンコーダの目的関数はスパース符号化フレームワークの中核的な概念を保ちつつも、受容領域の微分を記述するための有望な経路を提供することを示す。
論文参考訳（メタデータ） (2023-02-22T06:07:20Z)
Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文参考訳（メタデータ） (2023-01-03T13:51:51Z)
Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文参考訳（メタデータ） (2022-11-11T21:58:15Z)
Top-down inference in an early visual cortex inspired hierarchical Variational Autoencoder [0.0]
我々は変分オートエンコーダの進歩を利用して、自然画像に基づいて訓練された疎い符号化階層型VAEを用いて、初期視覚野を調査する。一次および二次視覚皮質に見られるものと類似した表現は、軽度の誘導バイアスの下で自然に現れる。生成モデルを用いた2つの計算のシグネチャに対して,ニューロサイエンスに着想を得た認識モデルの選択が重要であることを示す。
論文参考訳（メタデータ） (2022-06-01T12:21:58Z)
Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文参考訳（メタデータ） (2022-03-17T04:34:28Z)
Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文参考訳（メタデータ） (2021-10-12T23:22:45Z)
Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
論文参考訳（メタデータ） (2021-07-07T11:43:59Z)
Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization [0.0]
我々は最近提案されたsparse coding variational autoencoder (svae) に着目した。単位ノルムへのフィルタの投影がアクティブフィルタの数を劇的に増加させることを示す。本結果は,データから疎表現を学習する上での重み正規化の重要性を強調した。
論文参考訳（メタデータ） (2021-01-23T08:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。