Fugu-MT 論文翻訳(概要): Categorical Perception: A Groundwork for Deep Learning

論文の概要: Categorical Perception: A Groundwork for Deep Learning

arxiv url: http://arxiv.org/abs/2012.05549v1
Date: Thu, 10 Dec 2020 09:41:38 GMT
ステータス: 処理完了
システム内更新日: 2021-05-15 06:05:39.849690
Title: Categorical Perception: A Groundwork for Deep Learning
Title（参考訳）: カテゴリー認識:深層学習のための基礎研究
Authors: Laurent Bonnasse-Gahot and Jean-Pierre Nadal
Abstract要約: ニューラルネットワークにおけるカテゴリー効果について検討する。我々は、カテゴリ学習が自動的にカテゴリ認識を誘導する浅いニューラルネットワークと深いニューラルネットワークの両方を示す。我々の分析の重要な成果は、ドロップアウト正規化手法の有効性の一貫性と統一性を提供することである。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Classification is one of the major tasks that deep learning is successfully tackling. Categorization is also a fundamental cognitive ability. A well-known perceptual consequence of categorization in humans and other animals, called categorical perception, is characterized by a within-category compression and a between-category separation: two items, close in input space, are perceived closer if they belong to the same category than if they belong to different categories. Elaborating on experimental and theoretical results in cognitive science, here we study categorical effects in artificial neural networks. Our formal and numerical analysis provides insights into the geometry of the neural representation in deep layers, with expansion of space near category boundaries and contraction far from category boundaries. We investigate categorical representation by using two complementary approaches: one mimics experiments in psychophysics and cognitive neuroscience by means of morphed continua between stimuli of different categories, while the other introduces a categoricality index that quantifies the separability of the classes at the population level (a given layer in the neural network). We show on both shallow and deep neural networks that category learning automatically induces categorical perception. We further show that the deeper a layer, the stronger the categorical effects. An important outcome of our analysis is to provide a coherent and unifying view of the efficacy of different heuristic practices of the dropout regularization technique. Our views, which find echoes in the neuroscience literature, insist on the differential role of noise as a function of the level of representation and in the course of learning: noise injected in the hidden layers gets structured according to the organization of the categories, more variability being allowed within a category than across classes.
Abstract（参考訳）: 分類は、ディープラーニングがうまく取り組んでいる主なタスクの1つです。分類もまた基本的な認知能力である。カテゴリー内圧縮とカテゴリー間分離が特徴であり、入力空間に近接する2つの項目は、異なるカテゴリに属する場合と同一のカテゴリに属する場合とでは、より近く知覚される。本稿では,認知科学の実験的および理論的結果について検討し,ニューラルネットワークのカテゴリー的効果について考察する。我々の形式的および数値的な分析は、深い層における神経表現の幾何学に関する洞察を与え、圏境界付近の空間の拡大と圏境界から遠く離れた収縮をもたらす。 2つの相補的なアプローチを用いて分類表現を考察する: 1つは、異なるカテゴリーの刺激間の形態的連続性によって精神物理学と認知神経科学の実験を模倣し、もう1つは、集団レベルでのクラスの分離性(ニューラルネットワークの所定の層)を定量化する分類性指数を導入する。浅層ニューラルネットワークと深層ニューラルネットワークの両方に,学習が自動的にカテゴリー知覚を誘発することを示す。さらに、層が深くなるほど、分類学的効果が強くなることを示す。我々の分析の重要な成果は、ドロップアウト正規化手法の異なるヒューリスティックな実践の有効性の一貫性と統一性を提供することである。隠れた層に注入されたノイズは、カテゴリの組織に従って構造化され、クラス全体よりもカテゴリ内でより可変性が許容されます。

関連論文リスト

Understanding the Role of Pathways in a Deep Neural Network [4.456675543894722]
分類タスクで訓練された畳み込みニューラルネットワーク(CNN)を分析し,個々の画素の拡散経路を抽出するアルゴリズムを提案する。画像からの個々のピクセルの最も大きな経路は、分類に重要な各層の特徴マップを横断する傾向にある。
論文参考訳（メタデータ） (2024-02-28T07:53:19Z)
Information theoretic study of the neural geometry induced by category learning [0.0]
我々は、カテゴリ学習によって引き起こされる表現の効率を評価するために、情報理論的アプローチをとる。 1つの主な結果は、カテゴリー学習が決定境界付近の神経空間の拡大を誘導することである。
論文参考訳（メタデータ） (2023-11-27T10:16:22Z)
Deep Intrinsic Decomposition with Adversarial Learning for Hyperspectral Image Classification [9.051982753583232]
本研究は,超スペクトル画像分類のための逆学習,すなわちAdverDecomを用いた新しい内在的分解法を開発した。異なる環境カテゴリーを識別するために識別ネットワークを構築する。実験は3つの一般的な実世界のデータセット上で行われる。
論文参考訳（メタデータ） (2023-10-28T00:41:25Z)
SimNP: Learning Self-Similarity Priors Between Neural Points [52.4201466988562]
SimNPはカテゴリーレベルの自己相似性を学ぶ方法である。我々は、SimNPが対称な見えない対象領域の再構成において、従来の手法より優れていることを示す。
論文参考訳（メタデータ） (2023-09-07T16:02:40Z)
Language Knowledge-Assisted Representation Learning for Skeleton-Based Action Recognition [71.35205097460124]
人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。 LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
論文参考訳（メタデータ） (2023-05-21T08:29:16Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
Encoding Hierarchical Information in Neural Networks helps in Subpopulation Shift [8.01009207457926]
ディープニューラルネットワークは画像分類のタスクに適していることが証明されている。本研究では,新しい条件付き教師あり学習フレームワークのレンズを用いて,上記の問題について検討する。この構造的階層的な学習によって、サブ人口移動に対してより堅牢なネットワークが得られることを示す。
論文参考訳（メタデータ） (2021-12-20T20:26:26Z)
Grounding Psychological Shape Space in Convolutional Neural Networks [0.0]
我々は畳み込みニューラルネットワークを用いて、知覚入力間の一般化可能なマッピングと、最近提案された形状領域の心理学的類似性空間を学習する。この結果から,分類に基づくマルチタスク学習シナリオが最も優れた結果が得られるが,その性能は類似性空間の次元に比較的敏感であることが示唆された。
論文参考訳（メタデータ） (2021-11-16T12:21:07Z)
Modeling Category-Selective Cortical Regions with Topographic Variational Autoencoders [72.15087604017441]
カテゴリー選択性(英: Category-Selectivity)は、大脳皮質の特定の空間的局所化領域が特定の限られたカテゴリーからの刺激に対して頑健かつ選択的に反応する傾向にあるという観察を記述している。新たに導入されたTopographic Variational Autoencoderを利用して、そのような局所化カテゴリ選択性の出現を教師なしでモデル化する。本研究では,ヒト腹側頭皮質の観察に類似した,より抽象的なカテゴリのネストされた空間的階層が得られたことを示す予備的な結果を示す。
論文参考訳（メタデータ） (2021-10-25T11:37:41Z)
Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文参考訳（メタデータ） (2021-10-12T23:22:45Z)
Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。分析の結果,分類精度は分布に依存していることがわかった。得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文参考訳（メタデータ） (2020-11-16T05:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。