論文の概要: Functorial Neural Architectures from Higher Inductive Types
- arxiv url: http://arxiv.org/abs/2603.16123v1
- Date: Tue, 17 Mar 2026 05:08:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:07.10419
- Title: Functorial Neural Architectures from Higher Inductive Types
- Title（参考訳）: 高インダクティブ型によるファンクトリーニューラルアーキテクチャ
- Authors: Karen Sargsyan,
- Abstract要約: ニューラルネットワークは構成一般化において体系的に失敗することを示す。
この失敗はアーキテクチャであり、構成的一般化はデコーダの函手性と同値である。
独立に生成したセグメントの構造連結によって構成されたデコーダが厳密なモノイド関手であることを証明した。
- 参考スコア（独自算出の注目度）: 5.076419064097734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks systematically fail at compositional generalization -- producing correct outputs for novel combinations of known parts. We show that this failure is architectural: compositional generalization is equivalent to functoriality of the decoder, and this perspective yields both guarantees and impossibility results. We compile Higher Inductive Type (HIT) specifications into neural architectures via a monoidal functor from the path groupoid of a target space to a category of parametric maps: path constructors become generator networks, composition becomes structural concatenation, and 2-cells witnessing group relations become learned natural transformations. We prove that decoders assembled by structural concatenation of independently generated segments are strict monoidal functors (compositional by construction), while softmax self-attention is not functorial for any non-trivial compositional task. Both results are formalized in Cubical Agda. Experiments on three spaces validate the full hierarchy: on the torus ($\mathbb{Z}^2$), functorial decoders outperform non-functorial ones by 2-2.7x; on $S^1 \vee S^1$ ($F_2$), the type-A/B gap widens to 5.5-10x; on the Klein bottle ($\mathbb{Z} \rtimes \mathbb{Z}$), a learned 2-cell closes a 46% error gap on words exercising the group relation.
- Abstract（参考訳）: ニューラルネットワークは、構成一般化において体系的に失敗する -- 既知の新しい組み合わせのための正しい出力を生成する。
構成的一般化はデコーダの函手性と等価であり、この観点は保証と不可能な結果の両方をもたらす。
経路コンストラクタはジェネレータネットワークとなり、構成は構造的結合となり、グループ関係を目撃する2セルは自然変換を学習する。
独立に生成したセグメントの構造連結によって構成されたデコーダが厳密なモノイド関手(構成によって構成される)であることを証明する。
どちらの結果も立方体アグダで定式化されている。
S^1 \vee S^1$$F_2$, type-A/B ギャップは 5.5-10x, Klein ボトル $\mathbb{Z} \rtimes \mathbb{Z}$, 学習された 2-セルは、群関係を運動する単語の 46% の誤差ギャップを閉じる。
関連論文リスト
- Classical and Quantum Algorithms for Topological Invariants of Torus Bundles [0.42970700836450476]
我々は非可換トーラス構造を利用して閉トーラスのスキイン代数をその対称部分代数にユニタリの根に埋め込む。
個々の展開係数の抽出は#P完全であることが証明されているが、これらの係数を非無視的な構成の分数に対して効率的に近似できる量子アルゴリズムが存在する。
論文 参考訳（メタデータ） (2025-12-22T04:58:14Z) - A Kernel-based Stochastic Approximation Framework for Nonlinear Operator Learning [7.820614736576814]
一般メルサー作用素値カーネルを用いた無限次元空間間の近似フレームワークを開発する。
この枠組みでは, 非線形演算子学習が次元性の呪いを克服できることを実証し, 次元自由収束率を確立する。
このフレームワークは、積分演算子からエンコーダ-デコーダ表現に基づくアーキテクチャまで、幅広い演算子学習タスクに対応している。
論文 参考訳（メタデータ） (2025-09-14T03:33:36Z) - Parseval Convolution Operators and Neural Networks [16.78532039510369]
まず、Parseval畳み込み演算子をエネルギー保存フィルタバンクのクラスとして同定する。
次に,基本Parsevalモジュールの連鎖によるフィルタバンクの設計・特定のための構築的アプローチを提案する。
生体医用画像の反復的再構成のためのCNNアルゴリズムの設計により,これらのツールの使用例を示す。
論文 参考訳（メタデータ） (2024-08-19T13:31:16Z) - Scalable Graph Compressed Convolutions [68.85227170390864]
ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。
グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
論文 参考訳（メタデータ） (2024-07-26T03:14:13Z) - Learning Polynomial Problems with $SL(2,\mathbb{R})$ Equivariance [6.5783892500847205]
ニューラルネットワークは、高精度を維持しつつ、10倍のスピードアップを実現し、データ駆動方式で効果的に問題を解決することができることを示す。
これらの学習問題は、領域保存線形変換からなる非コンパクト群 $SL(2,mathbbR)$ に同値である。
論文 参考訳（メタデータ） (2023-12-04T18:59:19Z) - Factorizers for Distributed Sparse Block Codes [45.29870215671697]
分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。
我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。
CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
論文 参考訳（メタデータ） (2023-03-24T12:31:48Z) - DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。
本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。
本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文 参考訳（メタデータ） (2023-01-30T14:02:33Z) - Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳（メタデータ） (2022-09-22T11:19:45Z) - Fold2Seq: A Joint Sequence(1D)-Fold(3D) Embedding-based Generative Model
for Protein Design [70.27706384570723]
Fold2Seqは特定の標的に条件付きタンパク質配列を設計するための新しいフレームワークである。
Fold2Seqの性能は, シーケンス設計の速度, カバレッジ, 信頼性において向上したか, 同等であったかを示す。
フォールドベースのFold2Seqの独特な利点は、構造ベースのディープモデルやRosettaDesignと比較して、3つの現実世界の課題においてより明確になる。
論文 参考訳（メタデータ） (2021-06-24T14:34:24Z) - Abelian Neural Networks [48.52497085313911]
まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。
連想対称の特徴づけを用いて、アベリア半群演算に拡張する。
固定単語埋め込み上でモデルをトレーニングし、元の word2vec よりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-02-24T11:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。