論文の概要: Advantages of Neural Population Coding for Deep Learning

• arxiv url: http://arxiv.org/abs/2411.00393v3
• Date: Wed, 06 Nov 2024 13:25:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 11:17:59.376909
• Title: Advantages of Neural Population Coding for Deep Learning
• Title（参考訳）: 深層学習におけるニューラル・ポピュレーション・コーディングの有用性
• Authors: Heiko Hoffmann,
• Abstract要約: ニューラルネットワークの出力層に集団コードを使用する利点を示す。 まず,集団符号が入力雑音に対する頑健性を向上する合成データを用いて理論的および実験を行った。 第2に、対称オブジェクトのポーズのようなあいまいな出力を符号化するために集団符号を使用する利点を示す。
• 参考スコア（独自算出の注目度）: 5.384630221560811
• License:
• Abstract: Scalar variables, e.g., the orientation of a shape in an image, are commonly predicted using a single output neuron in a neural network. In contrast, the mammalian cortex represents variables with a population of neurons. In this population code, each neuron is most active at its preferred value and shows partial activity for other values. Here, we investigate the benefit of using a population code for the output layer of a neural network. We compare population codes against single-neuron outputs and one-hot vectors. First, we show theoretically and in experiments with synthetic data that population codes improve robustness to input noise in networks of stacked linear layers. Second, we demonstrate the benefit of using population codes to encode ambiguous outputs, such as the pose of symmetric objects. Using the T-LESS dataset of feature-less real-world objects, we show that population codes improve the accuracy of predicting 3D object orientation from image input.
• Abstract（参考訳）: 画像中の形状の向きを示すスカラー変数は、ニューラルネットワークの単一出力ニューロンを用いて一般的に予測される。 対照的に、哺乳類の皮質は神経細胞の集団を持つ変数を表す。 この集団コードでは、各ニューロンはその好ましい値において最も活発であり、他の値に対する部分活性を示す。 本稿では,ニューラルネットワークの出力層に集団符号を用いる利点について検討する。 集団符号を単一ニューロン出力と1ホットベクトルと比較する。 まず,重み付き線形層ネットワークの入力雑音に対して,集団符号がロバスト性を向上させる合成データを用いて理論的および実験を行った。 第2に、対称オブジェクトのポーズのようなあいまいな出力を符号化するために集団符号を使用する利点を示す。 特徴のない実世界のオブジェクトのT-LESSデータセットを用いて、画像入力から3次元物体の向きを予測する精度を向上させることを示す。

関連論文リスト

• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)
• Codebook Features: Sparse and Discrete Interpretability for Neural Networks [43.06828312515959]
  ニューラルネットワークが、疎く、離散的で、より解釈可能な隠された状態を持つように訓練できるかどうかを探る。 コードブックの特徴は、各層にベクトル量子化ボトルネックを持つニューラルネットワークを微調整することによって生成される。 ニューラルネットワークは、パフォーマンスをわずかに低下させるだけで、この極端なボトルネックの下で動作できることがわかりました。
  論文  参考訳（メタデータ） (2023-10-26T08:28:48Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
  本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。 我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
  論文  参考訳（メタデータ） (2023-05-31T14:44:33Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)
• Population-coding and Dynamic-neurons improved Spiking Actor Network for Reinforcement Learning [10.957578424267757]
  スパイキングニューラルネットワーク(SNN)は、スパイキングニューロンの多様な集団を含み、空間的および時間的情報による状態表現に自然に強力である。 本稿では,2つの異なるスケールからの効率的な状態表現を実現するために,PDSAN(Population-coding and Dynamic-neurons improve Spiking Actor Network)を提案する。 我々のTD3-PDSANモデルは,4つのOpenAIジムベンチマークタスクにおける最先端モデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-06-15T03:14:41Z)
• Adaptive conversion of real-valued input into spike trains [91.3755431537592]
  本稿では,実数値入力をスパイクトレインに変換し,スパイクニューラルネットワークで処理する方法を提案する。 提案手法は網膜神経節細胞の適応的挙動を模倣し,入力ニューロンが入力の統計の変化に応答することを可能にする。
  論文  参考訳（メタデータ） (2021-04-12T12:33:52Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。