論文の概要: Topos and Stacks of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2106.14587v1
- Date: Mon, 28 Jun 2021 11:50:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 17:57:14.738004
- Title: Topos and Stacks of Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークのtoposとスタック
- Authors: Jean-Claude Belfiore and Daniel Bennequin
- Abstract要約: 既知のすべてのディープニューラルネットワーク(DNN)は、標準的なGrothendieckのトポのオブジェクトに対応する。
層内の不変構造(CNNやLSTMなど)は、Giraudのスタックに対応している。
ネットワークのセマンティック機能は、そのような言語で理論を表現し、入力データに関する出力の質問に答える能力である。
- 参考スコア(独自算出の注目度): 12.300163392308807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Every known artificial deep neural network (DNN) corresponds to an object in
a canonical Grothendieck's topos; its learning dynamic corresponds to a flow of
morphisms in this topos. Invariance structures in the layers (like CNNs or
LSTMs) correspond to Giraud's stacks. This invariance is supposed to be
responsible of the generalization property, that is extrapolation from learning
data under constraints. The fibers represent pre-semantic categories (Culioli,
Thom), over which artificial languages are defined, with internal logics,
intuitionist, classical or linear (Girard). Semantic functioning of a network
is its ability to express theories in such a language for answering questions
in output about input data. Quantities and spaces of semantic information are
defined by analogy with the homological interpretation of Shannon's entropy
(P.Baudot and D.B. 2015). They generalize the measures found by Carnap and
Bar-Hillel (1952). Amazingly, the above semantical structures are classified by
geometric fibrant objects in a closed model category of Quillen, then they give
rise to homotopical invariants of DNNs and of their semantic functioning.
Intentional type theories (Martin-Loef) organize these objects and fibrations
between them. Information contents and exchanges are analyzed by Grothendieck's
derivators.
- Abstract(参考訳): すべての既知の人工深層ニューラルネットワーク(dnn)は、標準グロタンディークのトポの物体に対応しており、その学習ダイナミクスは、このトポの射の流れに対応する。
層内の不変構造(CNNやLSTMなど)はGiraudのスタックに対応している。
この不変性は、制約の下での学習データから外挿される一般化特性に責任があると考えられる。
ファイバーは、内部論理、直観主義、古典的または線型的(ジラード)を含む人工言語が定義されるプレセマンティックなカテゴリー(Culioli, Thom)を表す。
ネットワークのセマンティック機能は、そのような言語で理論を表現し、入力データに関する出力の質問に答える能力である。
意味情報の量と空間はシャノンのエントロピー(P. Baudot と D.B.)のホモロジー解釈と類似して定義される。
2015).
彼らはCarnap and Bar-Hillel (1952) によって発見された測度を一般化した。
驚くべきことに、上記の意味構造はクイレンの閉モデル圏における幾何学的ファイバーオブジェクトによって分類され、DNNのホモトピー不変量とそれらの意味関数をもたらす。
意図型理論(martin-loef)はこれらの対象とそれらの間のファイブを整理する。
情報の内容と交換はGrothendieckの導師によって分析される。
関連論文リスト
- Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-10T16:27:12Z) - Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。
考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
論文 参考訳(メタデータ) (2023-07-06T10:52:22Z) - How Do Transformers Learn Topic Structure: Towards a Mechanistic
Understanding [56.222097640468306]
我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する
数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
論文 参考訳(メタデータ) (2023-03-07T21:42:17Z) - Towards Rigorous Understanding of Neural Networks via
Semantics-preserving Transformations [0.0]
本稿では,Rectifier Neural Networksの正確かつグローバルな検証と説明に対するアプローチを提案する。
我々のアプローチの鍵は、意味論的に等価なTyped Affine Decision Structureの構築を可能にする、これらのネットワークのシンボリック実行である。
論文 参考訳(メタデータ) (2023-01-19T11:35:07Z) - Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳(メタデータ) (2022-09-22T11:19:45Z) - Neural network layers as parametric spans [0.0]
本稿では、積分理論とパラメトリックスパンの概念に基づく分類的枠組みから生じる線形層の定義について述べる。
この定義は古典的な層(例えば、密度、畳み込み)を一般化し包含し、バックプロパゲーションのために層の微分の存在と計算可能性を保証する。
論文 参考訳(メタデータ) (2022-08-01T12:41:22Z) - Statistical Mechanics of Neural Processing of Object Manifolds [3.4809730725241605]
この論文は、物体の神経処理の計算理論の基礎を築いた。
多様体のキャパシティは,有効半径, R_M, 有効次元, D_Mと決定される。
論文 参考訳(メタデータ) (2021-06-01T20:49:14Z) - Identity-Based Patterns in Deep Convolutional Networks: Generative
Adversarial Phonology and Reduplication [0.0]
我々は、CNNが情報データを生成するという要求から有意義な表現を学習する、ciwGANアーキテクチャのBeguvsを使用している。
そこで本研究では,4つの生成テストに基づいて学習したWug-test CNNの手法を提案する。
論文 参考訳(メタデータ) (2020-09-13T23:12:49Z) - Algebraic Neural Networks: Stability to Deformations [179.55535781816343]
可換代数を用いた代数ニューラルネットワーク(AlgNN)について検討する。
AlgNNはユークリッド畳み込みニューラルネットワーク、グラフニューラルネットワーク、グループニューラルネットワークなどの多様なアーキテクチャを統合する。
論文 参考訳(メタデータ) (2020-09-03T03:41:38Z) - MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。
MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。
このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
論文 参考訳(メタデータ) (2020-06-30T15:38:37Z) - Plausible Reasoning about EL-Ontologies using Concept Interpolation [27.314325986689752]
本稿では,モデル理論の明確な意味論に基づく帰納的機構を提案する。
我々は、カテゴリーベース誘導の認知モデルと密接に関連している強力なコモンセンス推論機構である推論に焦点を当てた。
論文 参考訳(メタデータ) (2020-06-25T14:19:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。