論文の概要: Tropical Circuits with Scalar Multiplication Gates
- arxiv url: http://arxiv.org/abs/2607.11540v1
- Date: Mon, 13 Jul 2026 13:24:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.481456
- Title: Tropical Circuits with Scalar Multiplication Gates
- Title(参考訳): スカラー乗算ゲート付き熱帯回路
- Authors: Christoph Hertrich, Moritz Stargalla,
- Abstract要約: 我々は、$max$,$+$を実装したスカラー乗算回路または正の定数で乗算を行う熱帯回路について検討した。
このような回路に対して、最大重み木と最大二分割重みゲートを計算するための指数的サイズ境界を証明した。
1つの結論は、強制性制約を持つニューラルネットワークモデル(一般的にはICNN(Neural input gates network))は、同じ関数を表現するために、しばしばその制限のないモデルよりも指数関数的に大きくなる必要があるということである。
- 参考スコア(独自算出の注目度): 6.975577102450463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study tropical circuits with scalar multiplication gates, that is, algebraic circuits whose gates implement $\max$, $+$, or multiplication with a positive constant. For such circuits, we prove exponential size lower bounds for computing maximum weight directed spanning trees and maximum weight bipartite perfect matchings. As a corollary, we obtain an exponential size separation between monotone and non-monotone maxout neural networks, which generalize the popularly used ReLU neural networks. One conclusion from this is that neural network models with enforced convexity constraints, such as input-convex neural networks (ICNNs), sometimes need to be exponentially larger than their unrestricted counterparts in order to express the same functions.
- Abstract(参考訳): 我々は、スカラー乗算ゲートを持つ熱帯回路、すなわち、ゲートが$\max$,$+$を実装した代数回路、あるいは正の定数を持つ乗算について研究する。
このような回路に対して、最大重み付け木と最大重み付け完全マッチングを計算するために指数関数サイズの低い境界を証明した。
本稿では,一般的なReLUニューラルネットワークを一般化したモノトーンと非モノトーン最大化ニューラルネットワークの指数的サイズ分離を求める。
この結果から1つの結論は、入力凸ニューラルネットワーク(ICNN)のような強制凸性制約を持つニューラルネットワークモデルは、同じ関数を表現するために、しばしばその制限のないモデルよりも指数関数的に大きくなる必要があるということである。
関連論文リスト
- Quantifying The Limits of AI Reasoning: Systematic Neural Network Representations of Algorithms [10.292476979020522]
基本的に任意の回路をフィードフォワードニューラルネットワーク(NN)に変換するシステムメタアルゴリズムを提案する。
あらゆるデジタルコンピュータ上で、我々の構成は回路を正確にエミュレートしている ― 近似がなく、丸めず、モジュラーなオーバーフローも含まない ― ニューラルネットワークの範囲を超えて推論タスクが存在しないことを実証している。
論文 参考訳(メタデータ) (2025-08-25T21:55:37Z) - Expressivity of Shallow and Deep Neural Networks for Polynomial
Approximation [0.0]
一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。
また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
論文 参考訳(メタデータ) (2023-03-06T23:01:53Z) - Exploring the Approximation Capabilities of Multiplicative Neural
Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。
以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。
これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文 参考訳(メタデータ) (2023-01-11T17:57:33Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Neural network approaches to point lattice decoding [6.025026882312586]
voronoi-reduced基底は二元集合への解の空間を制限するために導入された。
CPWL復号関数におけるアフィンの個数を数え、復号問題の複雑さを特徴づける。
論文 参考訳(メタデータ) (2020-12-13T10:53:34Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z) - Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文 参考訳(メタデータ) (2020-02-24T21:32:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。