論文の概要: Coalgebras for categorical deep learning: Representability and universal approximation
- arxiv url: http://arxiv.org/abs/2603.03227v1
- Date: Tue, 03 Mar 2026 18:18:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.921487
- Title: Coalgebras for categorical deep learning: Representability and universal approximation
- Title(参考訳): カテゴリー的深層学習のためのCoalgebras:表現可能性と普遍近似
- Authors: Dragan Mašulović,
- Abstract要約: 我々は、ディープラーニングにおける同変表現のための合図基盤を開発する。
一般化された設定で同変写像に対する普遍近似定理を確立する。
この研究は、不変な振る舞いの抽象的な仕様と、ニューラルネットワークにおける具体的な実現との間に、分類的な橋渡しを提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Categorical deep learning (CDL) has recently emerged as a framework that leverages category theory to unify diverse neural architectures. While geometric deep learning (GDL) is grounded in the specific context of invariants of group actions, CDL aims to provide domain-independent abstractions for reasoning about models and their properties. In this paper, we contribute to this program by developing a coalgebraic foundation for equivariant representation in deep learning, as classical notions of group actions and equivariant maps are naturally generalized by the coalgebraic formalism. Our first main result demonstrates that, given an embedding of data sets formalized as a functor from SET to VECT, and given a notion of invariant behavior on data sets modeled by an endofunctor on SET, there is a corresponding endofunctor on VECT that is compatible with the embedding in the sense that this lifted functor recovers the analogous notion of invariant behavior on the embedded data. Building on this foundation, we then establish a universal approximation theorem for equivariant maps in this generalized setting. We show that continuous equivariant functions can be approximated within our coalgebraic framework for a broad class of symmetries. This work thus provides a categorical bridge between the abstract specification of invariant behavior and its concrete realization in neural architectures.
- Abstract(参考訳): カテゴリ的ディープラーニング(CDL)は、最近、カテゴリ理論を利用して多様なニューラルネットワークを統一するフレームワークとして登場した。
幾何学的深層学習(GDL)は群行動の不変性の特定の文脈に基礎を置いているが、CDLはモデルとその特性を推論するためのドメインに依存しない抽象化を提供することを目的としている。
本稿では,グループ行動や同変写像の古典的概念が,合図的形式主義によって自然に一般化されることから,深層学習における同変表現のための合図的基礎を開発することで,このプログラムに寄与する。
最初の主な結果は、SET から VECT への関手として形式化されたデータセットの埋め込みと、SET 上の endofunctor によってモデル化されたデータセット上の不変挙動の概念が与えられたとき、この持ち上げ関手は、埋め込みデータ上の不変挙動の類似概念を回復するという意味で、VECT の埋め込みと互換性のある対応する endofunctor が存在することを示している。
この基礎の上に構築し、この一般化された設定で同変写像に対する普遍近似定理を確立する。
より広い種類の対称性に対して、連続同変関数は我々の合図的枠組みの中で近似できることを示す。
この研究は、不変な振る舞いの抽象的な仕様と、ニューラルネットワークにおける具体的な実現との間に、分類的な橋渡しを提供する。
関連論文リスト
- Structural Disentanglement in Bilinear MLPs via Architectural Inductive Bias [0.0]
我々は、モデルがトレーニング中に内部表現をどのように構成するかから失敗が発生すると主張している。
線形パラメータ化は勾配流条件下での非混合特性を有することを示す。
ポイントワイズ非線形ネットワークとは異なり、乗法的アーキテクチャは、基礎となる代数構造と整合した真の作用素を復元することができる。
論文 参考訳(メタデータ) (2026-02-05T13:14:01Z) - Identifiable Equivariant Networks are Layerwise Equivariant [12.83273311392079]
本研究では,ディープニューラルネットワークにおけるエンド・ツー・エンドの等式と層間等式の関係について検討する。
本結果は,トレーニング中のニューラルネットワークの重みにおける等変構造の出現を数学的に説明するものである。
論文 参考訳(メタデータ) (2026-01-29T12:47:51Z) - Directional Non-Commutative Monoidal Structures for Compositional Embeddings in Machine Learning [0.0]
指向性非可換モノイド作用素上に構築された合成埋め込みのための新しい構造を導入する。
我々の構成では、各軸 i に対して異なる合成演算子 circ_i を定義し、大域的な可換性を与えることなく、各軸に沿って連想結合を保証する。
すべての軸特異作用素は互いに可換であり、一貫した交叉軸合成を可能にする大域的交換法則を強制する。
論文 参考訳(メタデータ) (2025-05-21T13:27:14Z) - Mathematical Foundation of Interpretable Equivariant Surrogate Models [4.433915375867081]
本稿では,ニューラルネットワークの説明可能性に関する厳密な数学的枠組みを紹介する。
中心的な概念は、特定の図形の非可換性を測定することによってGEO間の距離を定量化することである。
畳み込みニューラルネットワークを用いた画像分類のような、古典的な機械学習シナリオにどのように適用できるかを示す。
論文 参考訳(メタデータ) (2025-03-03T15:06:43Z) - Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳(メタデータ) (2024-09-17T08:09:22Z) - From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication [19.336940758147442]
異なるニューラルネットワークによって学習された表現は、モデルが同様の誘導バイアスの下で訓練されたときに構造的類似性を隠蔽することが観察されている。
我々は,不変成分の積空間を潜在表現の上に構築し,その表現に不変量の集合を直接組み込む汎用的手法を導入する。
我々は,ゼロショット縫合設定において,一貫した遅延類似性および下流性能向上を観察し,分類および再構成タスクに対するソリューションの有効性を検証した。
論文 参考訳(メタデータ) (2023-10-02T13:55:38Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳(メタデータ) (2023-01-23T15:18:54Z) - Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳(メタデータ) (2022-09-22T11:19:45Z) - Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。
本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
論文 参考訳(メタデータ) (2021-12-03T06:41:19Z) - LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。
我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。
任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文 参考訳(メタデータ) (2020-12-20T11:02:49Z) - Invariant Integration in Deep Convolutional Feature Space [77.99182201815763]
より深いニューラルネットワークアーキテクチャに事前知識を原則的に組み込む方法を示す。
本稿では,Rotated-MNISTデータセットの最先端性能について報告する。
論文 参考訳(メタデータ) (2020-04-20T09:45:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。