論文の概要: Information theoretic study of the neural geometry induced by category learning

• arxiv url: http://arxiv.org/abs/2311.15682v1
• Date: Mon, 27 Nov 2023 10:16:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 16:12:46.100446
• Title: Information theoretic study of the neural geometry induced by category learning
• Title（参考訳）: カテゴリー学習による神経形状の情報理論的研究
• Authors: Laurent Bonnasse-Gahot and Jean-Pierre Nadal
• Abstract要約: 我々は、カテゴリ学習によって引き起こされる表現の効率を評価するために、情報理論的アプローチをとる。 1つの主な結果は、カテゴリー学習が決定境界付近の神経空間の拡大を誘導することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Categorization is an important topic both for biological and artificial neural networks. Here, we take an information theoretic approach to assess the efficiency of the representations induced by category learning. We show that one can decompose the relevant Bayesian cost into two components, one for the coding part and one for the decoding part. Minimizing the coding cost implies maximizing the mutual information between the set of categories and the neural activities. We analytically show that this mutual information can be written as the sum of two terms that can be interpreted as (i) finding an appropriate representation space, and, (ii) building a representation with the appropriate metrics, based on the neural Fisher information on this space. One main consequence is that category learning induces an expansion of neural space near decision boundaries. Finally, we provide numerical illustrations that show how Fisher information of the coding neural population aligns with the boundaries between categories.
• Abstract（参考訳）: 分類は、生物学的ニューラルネットワークと人工ニューラルネットワークの両方にとって重要なトピックである。 本稿では,カテゴリ学習によって引き起こされる表現の効率を評価するために,情報理論のアプローチをとる。 ベイズコストを符号化部と復号部とで2つの成分に分解できることを示す。 コーディングコストの最小化は、カテゴリの集合と神経活動の間の相互情報の最大化を意味する。 この相互情報は、解釈可能な2つの項の和として記述できることを解析的に示す。 (i)適切な表現空間を見つけること、及び (ii)この空間のニューラルフィッシャー情報に基づいて適切な指標で表現を構築すること。 主な結果は、カテゴリー学習が決定境界付近の神経空間の拡大を誘導することである。 最後に,符号化ニューラル集団のフィッシャー情報がカテゴリ間の境界とどのように一致しているかを示す数値イラストを提供する。

関連論文リスト

• SimNP: Learning Self-Similarity Priors Between Neural Points [52.4201466988562]
  SimNPはカテゴリーレベルの自己相似性を学ぶ方法である。 我々は、SimNPが対称な見えない対象領域の再構成において、従来の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-07T16:02:40Z)
• Language Knowledge-Assisted Representation Learning for Skeleton-Based Action Recognition [71.35205097460124]
  人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。 LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T08:29:16Z)
• Graph Neural Operators for Classification of Spatial Transcriptomics Data [1.408706290287121]
  マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。 グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
  論文  参考訳（メタデータ） (2023-02-01T18:32:06Z)
• Higher-order mutual information reveals synergistic sub-networks for multi-neuron importance [0.483420384410068]
  以前の研究は、主に個々のニューロンにとって重要であった。 本研究では,シナジスティックあるいは冗長な情報を含むニューロン群について検討する。 結果から,本手法はプルーニングや教師なし表現学習に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-01T12:21:15Z)
• Invariant Representations with Stochastically Quantized Neural Networks [5.7923858184309385]
  本稿では,ニューラル層とセンシティブ属性間の相互情報の直接計算手法を提案する。 本手法は,公正表現学習における技術状況と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2022-08-04T13:36:06Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Generalized Organ Segmentation by Imitating One-shot Reasoning using Anatomical Correlation [55.1248480381153]
  そこで我々は,アノテーション付きオルガンクラスから一般化されたオルガン概念を学習し,その概念を未知のクラスに転送するOrganNetを提案する。 そこで,OrganNetは臓器形態の幅広い変化に効果的に抵抗でき,一発分節タスクで最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-30T13:41:12Z)
• Interpretable Neural Networks based classifiers for categorical inputs [0.0]
  本稿では,入力カテゴリ変数として扱うニューラルネットワーク分類器の出力関数を簡易に解釈する手法を提案する。 これらの場合、ネットワークの各層、特にロジット層は、各入力パターンの分類に寄与する用語の総和として拡張可能であることを示す。 適切なゲージ変換後の各パターンのコントリビューションの分析を,本手法の有効性が評価できる2つの事例に示す。
  論文  参考訳（メタデータ） (2021-02-05T14:38:50Z)
• Categorical Perception: A Groundwork for Deep Learning [0.0]
  ニューラルネットワークにおけるカテゴリー効果について検討する。 我々は、カテゴリ学習が自動的にカテゴリ認識を誘導する浅いニューラルネットワークと深いニューラルネットワークの両方を示す。 我々の分析の重要な成果は、ドロップアウト正規化手法の有効性の一貫性と統一性を提供することである。
  論文  参考訳（メタデータ） (2020-12-10T09:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。