論文の概要: Topos and Stacks of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2106.14587v1
• Date: Mon, 28 Jun 2021 11:50:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 17:57:14.738004
• Title: Topos and Stacks of Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのtoposとスタック
• Authors: Jean-Claude Belfiore and Daniel Bennequin
• Abstract要約: 既知のすべてのディープニューラルネットワーク(DNN)は、標準的なGrothendieckのトポのオブジェクトに対応する。 層内の不変構造(CNNやLSTMなど)は、Giraudのスタックに対応している。 ネットワークのセマンティック機能は、そのような言語で理論を表現し、入力データに関する出力の質問に答える能力である。
• 参考スコア（独自算出の注目度）: 12.300163392308807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Every known artificial deep neural network (DNN) corresponds to an object in a canonical Grothendieck's topos; its learning dynamic corresponds to a flow of morphisms in this topos. Invariance structures in the layers (like CNNs or LSTMs) correspond to Giraud's stacks. This invariance is supposed to be responsible of the generalization property, that is extrapolation from learning data under constraints. The fibers represent pre-semantic categories (Culioli, Thom), over which artificial languages are defined, with internal logics, intuitionist, classical or linear (Girard). Semantic functioning of a network is its ability to express theories in such a language for answering questions in output about input data. Quantities and spaces of semantic information are defined by analogy with the homological interpretation of Shannon's entropy (P.Baudot and D.B. 2015). They generalize the measures found by Carnap and Bar-Hillel (1952). Amazingly, the above semantical structures are classified by geometric fibrant objects in a closed model category of Quillen, then they give rise to homotopical invariants of DNNs and of their semantic functioning. Intentional type theories (Martin-Loef) organize these objects and fibrations between them. Information contents and exchanges are analyzed by Grothendieck's derivators.
• Abstract（参考訳）: すべての既知の人工深層ニューラルネットワーク(dnn)は、標準グロタンディークのトポの物体に対応しており、その学習ダイナミクスは、このトポの射の流れに対応する。 層内の不変構造(CNNやLSTMなど)はGiraudのスタックに対応している。 この不変性は、制約の下での学習データから外挿される一般化特性に責任があると考えられる。 ファイバーは、内部論理、直観主義、古典的または線型的(ジラード)を含む人工言語が定義されるプレセマンティックなカテゴリー(Culioli, Thom)を表す。 ネットワークのセマンティック機能は、そのような言語で理論を表現し、入力データに関する出力の質問に答える能力である。 意味情報の量と空間はシャノンのエントロピー(P. Baudot と D.B.)のホモロジー解釈と類似して定義される。 2015). 彼らはCarnap and Bar-Hillel (1952) によって発見された測度を一般化した。 驚くべきことに、上記の意味構造はクイレンの閉モデル圏における幾何学的ファイバーオブジェクトによって分類され、DNNのホモトピー不変量とそれらの意味関数をもたらす。 意図型理論(martin-loef)はこれらの対象とそれらの間のファイブを整理する。 情報の内容と交換はGrothendieckの導師によって分析される。

関連論文リスト

• Explainable Moral Values: a neuro-symbolic approach to value classification [1.4186974630564675]
  本研究では、オントロジーに基づく推論と、説明可能な値分類のための機械学習技術の統合について検討する。 道徳的価値のオントロジ的形式化をモラル・ファンデーションズ・セオリー(英語版)のように頼りにすることで、テクティサンドラのニューラルシンボリック・リセサイザーは、ある文で満たされる価値を推測するために用いられる。 推理器の推論のみに依存すると、他のより複雑な手法に匹敵する説明可能な分類が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-16T14:53:13Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• A rank decomposition for the topological classification of neural representations [0.0]
  この研究では、ニューラルネットワークが連続的なピースワイズアフィンマップと等価であるという事実を活用している。 多様体 $mathcalM$ と部分集合 $A$ の商のホモロジー群を研究し、これらの空間上のいくつかの極小性質を仮定する。 ランダムに狭いネットワークでは、データ多様体の(コ)ホモロジー群が変化する領域が存在することを示す。
  論文  参考訳（メタデータ） (2024-04-30T17:01:20Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Lattice-preserving $\mathcal{ALC}$ ontology embeddings with saturation [50.05281461410368]
  OWL表現の埋め込みを生成するため,順序保存型埋め込み法を提案する。 本手法は,いくつかの知識ベース完了タスクにおいて,最先端の組込み手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-11T22:27:51Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Towards Rigorous Understanding of Neural Networks via Semantics-preserving Transformations [0.0]
  本稿では,Rectifier Neural Networksの正確かつグローバルな検証と説明に対するアプローチを提案する。 我々のアプローチの鍵は、意味論的に等価なTyped Affine Decision Structureの構築を可能にする、これらのネットワークのシンボリック実行である。
  論文  参考訳（メタデータ） (2023-01-19T11:35:07Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Neural network layers as parametric spans [0.0]
  本稿では、積分理論とパラメトリックスパンの概念に基づく分類的枠組みから生じる線形層の定義について述べる。 この定義は古典的な層(例えば、密度、畳み込み)を一般化し包含し、バックプロパゲーションのために層の微分の存在と計算可能性を保証する。
  論文  参考訳（メタデータ） (2022-08-01T12:41:22Z)
• Identity-Based Patterns in Deep Convolutional Networks: Generative Adversarial Phonology and Reduplication [0.0]
  我々は、CNNが情報データを生成するという要求から有意義な表現を学習する、ciwGANアーキテクチャのBeguvsを使用している。 そこで本研究では,4つの生成テストに基づいて学習したWug-test CNNの手法を提案する。
  論文  参考訳（メタデータ） (2020-09-13T23:12:49Z)
• Algebraic Neural Networks: Stability to Deformations [179.55535781816343]
  可換代数を用いた代数ニューラルネットワーク(AlgNN)について検討する。 AlgNNはユークリッド畳み込みニューラルネットワーク、グラフニューラルネットワーク、グループニューラルネットワークなどの多様なアーキテクチャを統合する。
  論文  参考訳（メタデータ） (2020-09-03T03:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。