論文の概要: Logical Information Cells I

• arxiv url: http://arxiv.org/abs/2108.04751v1
• Date: Tue, 10 Aug 2021 15:31:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-11 16:08:12.413982
• Title: Logical Information Cells I
• Title（参考訳）: 論理情報セルI
• Authors: Jean-Claude Belfiore, Daniel Bennequin and Xavier Giraud
• Abstract要約: 本研究では,単純な人工ネットワークにおける可視的不可視推論の自発的な評価について検討する。 まず、サルの自然ニューロンのDNNモデルを再現することから始める。 次に、述語論理を含む優先順位として、もう少し複雑なタスクについて研究する。
• 参考スコア（独自算出の注目度）: 10.411800812671952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study we explore the spontaneous apparition of visible intelligible reasoning in simple artificial networks, and we connect this experimental observation with a notion of semantic information. We start with the reproduction of a DNN model of natural neurons in monkeys, studied by Neromyliotis and Moschovakis in 2017 and 2018, to explain how "motor equivalent neurons", coding only for the action of pointing, are supplemented by other neurons for specifying the actor of the action, the eye E, the hand H, or the eye and the hand together EH. There appear inner neurons performing a logical work, making intermediary proposition, for instance E V EH. Then, we remarked that adding a second hidden layer and choosing a symmetric metric for learning, the activities of the neurons become almost quantized and more informative. Using the work of Carnap and Bar-Hillel 1952, we define a measure of the logical value for collections of such cells. The logical score growths with the depth of the layer, i.e. the information on the output decision increases, which confirms a kind of bottleneck principle. Then we study a bit more complex tasks, a priori involving predicate logic. We compare the logic and the measured weights. This shows, for groups of neurons, a neat correlation between the logical score and the size of the weights. It exhibits a form of sparsity between the layers. The most spectacular result concerns the triples which can conclude for all conditions: when applying their weight matrices to their logical matrix, we recover the classification. This shows that weights precisely perform the proofs.
• Abstract（参考訳）: 本研究では,単純な人工ネットワークにおける可視的推論の自発的帰属を探索し,この実験を意味情報の概念と結びつける。 2017年と2018年にneromyliotisとmoschovakisが研究した、サルの自然ニューロンのdnnモデルの再現から始まり、指先の動きのみをコードする「運動等価ニューロン」が、他のニューロンによって補足され、行動のアクター、アイe、手h、目と手を特定する。 内部ニューロンは論理的な働きをし、例えばEV EHのような中間命題を作る。 次に、第2の隠蔽層を追加し、学習のための対称メートル法を選択すると、ニューロンの活動はほぼ定量化され、より情報的になる。 カルナップ (Carnap) とBar-Hillel 1952 (Bar-Hillel 1952) の業績を用いて、そのような細胞の集合に対する論理値の尺度を定義する。 論理的なスコアは、層の深さ、すなわち、成長する。 出力決定に関する情報が増加し、ある種のボトルネック原理が確認できる。 そして、もう少し複雑なタスク、述語論理を含む優先順位を研究します。 論理と測定した重量を比較する。 これは、ニューロンのグループに対して、論理的なスコアと重みの大きさの間の適切な相関を示す。 層間の間隔を示す。 最も壮大な結果は、全ての条件で結論できる三重項に関するもので、その重み行列をそれらの論理行列に適用すると、分類を回復する。 これは重みが正確に証明を行うことを示す。

関連論文リスト

• Arithmetic Without Algorithms: Language Models Solve Math With a Bag of Heuristics [43.86518549293703]
  大規模言語モデル (LLM) は, 頑健なアルゴリズムや暗記を使わず, 算術的に実行可能であることを示す。 実験結果から,LLMはロバストなアルゴリズムや暗記を使わずに演算を行うことがわかった。
  論文  参考訳（メタデータ） (2024-10-28T17:59:06Z)
• Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Disentanglement with Biological Constraints: A Theory of Functional Cell Types [20.929056085868613]
  この研究は、脳内の単一ニューロンが単一の人間の解釈可能な要素をしばしば表す理由を数学的に理解する。 また、脳表象の構造を形作る理解タスク構造へと進む。
  論文  参考訳（メタデータ） (2022-09-30T14:27:28Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。