論文の概要: Logical Information Cells I
- arxiv url: http://arxiv.org/abs/2108.04751v1
- Date: Tue, 10 Aug 2021 15:31:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-11 16:08:12.413982
- Title: Logical Information Cells I
- Title(参考訳): 論理情報セルI
- Authors: Jean-Claude Belfiore, Daniel Bennequin and Xavier Giraud
- Abstract要約: 本研究では,単純な人工ネットワークにおける可視的不可視推論の自発的な評価について検討する。
まず、サルの自然ニューロンのDNNモデルを再現することから始める。
次に、述語論理を含む優先順位として、もう少し複雑なタスクについて研究する。
- 参考スコア(独自算出の注目度): 10.411800812671952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study we explore the spontaneous apparition of visible intelligible
reasoning in simple artificial networks, and we connect this experimental
observation with a notion of semantic information. We start with the
reproduction of a DNN model of natural neurons in monkeys, studied by
Neromyliotis and Moschovakis in 2017 and 2018, to explain how "motor equivalent
neurons", coding only for the action of pointing, are supplemented by other
neurons for specifying the actor of the action, the eye E, the hand H, or the
eye and the hand together EH. There appear inner neurons performing a logical
work, making intermediary proposition, for instance E V EH. Then, we remarked
that adding a second hidden layer and choosing a symmetric metric for learning,
the activities of the neurons become almost quantized and more informative.
Using the work of Carnap and Bar-Hillel 1952, we define a measure of the
logical value for collections of such cells. The logical score growths with the
depth of the layer, i.e. the information on the output decision increases,
which confirms a kind of bottleneck principle. Then we study a bit more complex
tasks, a priori involving predicate logic. We compare the logic and the
measured weights. This shows, for groups of neurons, a neat correlation between
the logical score and the size of the weights. It exhibits a form of sparsity
between the layers. The most spectacular result concerns the triples which can
conclude for all conditions: when applying their weight matrices to their
logical matrix, we recover the classification. This shows that weights
precisely perform the proofs.
- Abstract(参考訳): 本研究では,単純な人工ネットワークにおける可視的推論の自発的帰属を探索し,この実験を意味情報の概念と結びつける。
2017年と2018年にneromyliotisとmoschovakisが研究した、サルの自然ニューロンのdnnモデルの再現から始まり、指先の動きのみをコードする「運動等価ニューロン」が、他のニューロンによって補足され、行動のアクター、アイe、手h、目と手を特定する。
内部ニューロンは論理的な働きをし、例えばEV EHのような中間命題を作る。
次に、第2の隠蔽層を追加し、学習のための対称メートル法を選択すると、ニューロンの活動はほぼ定量化され、より情報的になる。
カルナップ (Carnap) とBar-Hillel 1952 (Bar-Hillel 1952) の業績を用いて、そのような細胞の集合に対する論理値の尺度を定義する。
論理的なスコアは、層の深さ、すなわち、成長する。
出力決定に関する情報が増加し、ある種のボトルネック原理が確認できる。
そして、もう少し複雑なタスク、述語論理を含む優先順位を研究します。
論理と測定した重量を比較する。
これは、ニューロンのグループに対して、論理的なスコアと重みの大きさの間の適切な相関を示す。
層間の間隔を示す。
最も壮大な結果は、全ての条件で結論できる三重項に関するもので、その重み行列をそれらの論理行列に適用すると、分類を回復する。
これは重みが正確に証明を行うことを示す。
関連論文リスト
- Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-17T17:41:28Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳(メタデータ) (2023-09-24T05:43:19Z) - DBGDGM: Dynamic Brain Graph Deep Generative Model [63.23390833353625]
グラフは機能的磁気画像(fMRI)データから得られる脳活動の自然な表現である。
機能的接続ネットワーク(FCN)として知られる解剖学的脳領域のクラスターは、脳の機能や機能不全を理解するのに有用なバイオマーカーとなる時間的関係を符号化することが知られている。
しかし、以前の研究は脳の時間的ダイナミクスを無視し、静的グラフに焦点を当てていた。
本稿では,脳の領域を時間的に進化するコミュニティにクラスタリングし,非教師なしノードの動的埋め込みを学習する動的脳グラフ深部生成モデル(DBGDGM)を提案する。
論文 参考訳(メタデータ) (2023-01-26T20:45:30Z) - Disentanglement with Biological Constraints: A Theory of Functional Cell
Types [20.929056085868613]
この研究は、脳内の単一ニューロンが単一の人間の解釈可能な要素をしばしば表す理由を数学的に理解する。
また、脳表象の構造を形作る理解タスク構造へと進む。
論文 参考訳(メタデータ) (2022-09-30T14:27:28Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳(メタデータ) (2021-07-02T01:55:18Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - Formalising the Use of the Activation Function in Neural Inference [0.0]
生体ニューロンのスパイクが、統計物理学における特定の位相遷移のクラスに属するかについて議論する。
人工ニューロンは生物学的神経膜力学の平均場モデルであることが数学的に示されている。
これにより、選択的神経発射を抽象的に処理し、パーセプトロン学習における活性化機能の役割を定式化する。
論文 参考訳(メタデータ) (2021-02-02T19:42:21Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳(メタデータ) (2020-06-24T20:37:05Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z) - Learning Neural Activations [2.842794675894731]
人工ニューラルネットワークにおける各ニューロンの活性化関数がデータのみから学習されるとどうなるかを検討する。
これは、各ニューロンの活性化機能を、元のネットワーク内のすべてのニューロンによって共有される小さなニューラルネットワークとしてモデル化することで達成される。
論文 参考訳(メタデータ) (2019-12-27T15:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。