論文の概要: Abstraction in Neural Networks
- arxiv url: http://arxiv.org/abs/2408.02125v1
- Date: Sun, 4 Aug 2024 19:44:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 15:05:52.024227
- Title: Abstraction in Neural Networks
- Title（参考訳）: ニューラルネットワークの抽象化
- Authors: Nancy Lynch,
- Abstract要約: 我々は、スパイキングニューラルネットワークとしてモデル化された脳ネットワークが、異なるレベルの抽象化でどのように見えるかを示す。
下位レベルには、ニューロンやエッジの障害などの合併症が含まれる。
より高いレベルはより抽象的であり、これらの複雑さを避けるために仮定を単純化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We show how brain networks, modeled as Spiking Neural Networks, can be viewed at different levels of abstraction. Lower levels include complications such as failures of neurons and edges. Higher levels are more abstract, making simplifying assumptions to avoid these complications. We show precise relationships between executions of networks at different levels, which enables us to understand the behavior of lower-level networks in terms of the behavior of higher-level networks. We express our results using two abstract networks, A1 and A2, one to express firing guarantees and the other to express non-firing guarantees, and one detailed network D. The abstract networks contain reliable neurons and edges, whereas the detailed network has neurons and edges that may fail, subject to some constraints. Here we consider just initial stopping failures. To define these networks, we begin with abstract network A1 and modify it systematically to obtain the other two networks. To obtain A2, we simply lower the firing thresholds of the neurons. To obtain D, we introduce failures of neurons and edges, and incorporate redundancy in the neurons and edges in order to compensate for the failures. We also define corresponding inputs for the networks, and corresponding executions of the networks. We prove two main theorems, one relating corresponding executions of A1 and D and the other relating corresponding executions of A2 and D. Together, these give both firing and non-firing guarantees for the detailed network D. We also give a third theorem, relating the effects of D on an external reliable actuator neuron to the effects of the abstract networks on the same actuator neuron.
- Abstract（参考訳）: 我々は、スパイキングニューラルネットワークとしてモデル化された脳ネットワークが、異なるレベルの抽象化でどのように見えるかを示す。
下位レベルには、ニューロンやエッジの障害などの合併症が含まれる。
より高いレベルはより抽象的であり、これらの複雑さを避けるために仮定を単純化する。
我々は,異なるレベルのネットワーク実行間の正確な関係を示す。これにより,高レベルのネットワークの動作の観点から,低レベルのネットワークの動作を理解することができる。
我々は,A1 と A2 という2つの抽象的ネットワークを用いて結果を表現し,一方は非ファイリング保証を表現する,もう一方は非ファイリング保証を表現する,もう一方は詳細なネットワークDである。
ここでは、最初に失敗を止めることを考える。
これらのネットワークを定義するために、まず抽象的なネットワークA1から始め、他の2つのネットワークを得るために体系的に変更する。
A2を得るためには、単純にニューロンの発射閾値を下げる。
Dを得るために、我々は、ニューロンとエッジの故障を導入し、障害を補うために、ニューロンとエッジに冗長性を組み込む。
また、ネットワークに対する対応する入力と、ネットワークの実行についても定義する。
我々は、A1 と D の対応する実行と、A2 と D の対応する実行に関する2つの主要な定理を証明し、これらを合わせて、詳細なネットワーク D に対する発火とノンファイリングの保証を与える。
関連論文リスト
- Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Multi-Neuron Representations of Hierarchical Concepts in Spiking Neural Networks [0.0]
階層的概念が階層型ニューラルネットワークの3つのタイプでどのように表現できるかを説明する。
目的は、概念に関する部分的な情報が提示されたときや、ネットワーク内のいくつかのニューロンが失敗したときの認識を支援することである。
論文 参考訳（メタデータ） (2024-01-09T15:56:43Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Approximating nonlinear functions with latent boundaries in low-rank
excitatory-inhibitory spiking networks [5.955727366271805]
スパイクに基づく興奮抑制スパイクネットワークのための新しいフレームワークを考案した。
本研究は,生体スパイクに基づく計算の力学的理解の出発点となるスパイクネットワークの新しい視点を提案する。
論文 参考訳（メタデータ） (2023-07-18T15:17:00Z) - Certified Invertibility in Neural Networks via Mixed-Integer Programming [16.64960701212292]
ニューラルネットワークは敵の攻撃に弱いことが知られている。
ネットワークの決定に影響を与えない大きな、意味のある摂動が存在するかもしれない。
ニューラルネットワーク間の変換における可逆性検証に,我々の知見がどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2023-01-27T15:40:38Z) - Deep Neural Networks as Complex Networks [1.704936863091649]
我々は、重み付きグラフとしてディープニューラルネットワーク(DNN)を表現するために複雑ネットワーク理論を用いる。
我々は、DNNを動的システムとして研究するためのメトリクスを導入し、その粒度は、重みから神経細胞を含む層まで様々である。
我々の測定値が低性能ネットワークと高パフォーマンスネットワークを区別していることが示される。
論文 参考訳（メタデータ） (2022-09-12T16:26:04Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Adversarial Attack via Dual-Stage Network Erosion [7.28871533402894]
ディープニューラルネットワークは敵の例に弱いため、微妙な摂動を加えることでディープモデルを騙すことができる。
本稿では, 既存モデルに2段階の特徴レベル摂動を適用し, 多様なモデルの集合を暗黙的に生成する手法を提案する。
我々は、非残留ネットワークと残留ネットワークの両方で包括的な実験を行い、最先端の計算手法と同様の計算コストで、より伝達可能な逆の例を得る。
論文 参考訳（メタデータ） (2022-01-01T02:38:09Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。