論文の概要: MinMax Recurrent Neural Cascades

• arxiv url: http://arxiv.org/abs/2605.06384v1
• Date: Thu, 07 May 2026 15:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.926133
• Title: MinMax Recurrent Neural Cascades
• Title（参考訳）: MinMax Recurrent Neural Cascades
• Authors: Alessandro Ronca,
• Abstract要約: 我々は、MinMax代数が、表現的に強力で効率的な実装が可能な反復形式を提供することを示す。 我々はMinMax Recurrent Neural Cascades (RNC) を、そのような再発を利用するニューロンの層をカスケードしたモデルと呼ぶ。
• 参考スコア（独自算出の注目度）: 57.70637726519403
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We show that the MinMax algebra provides a form of recurrence that is expressively powerful, efficiently implementable, and most importantly it is not affected by vanishing or exploding gradient. We call MinMax Recurrent Neural Cascades (RNCs) the models obtained by cascading several layers of neurons that employ such recurrence. We show that MinMax RNCs enjoy many favourable theoretical properties. First, their formal expressivity includes all regular languages, arguably the maximal expressivity for a finite-memory system. Second, they can be evaluated in parallel with a runtime that is logarithmic in the input length given enough processors; and they can also be evaluated sequentially. Third, their state and activations are bounded uniformly for all input lengths. Fourth, at almost all points, their loss gradient exists and it is bounded. Fifth, they do not exhibit a vanishing state gradient: the gradient of a state w.r.t. a past state can have constant value one regardless of the time distance between the two states. Finally, we find empirical evidence that the favourable theoretical properties of MinMax RNCs are matched by their practical capabilities: they are able to perfectly solve a number of synthetic tasks, showing superior performance compared to the considered state-of-the-art recurrent neural networks; also, we train a MinMax RNC of 127M parameters on next-token prediction, and the obtained model shows competitive performance for its size, providing evidence of the potential of MinMax RNCs on real-world tasks.
• Abstract（参考訳）: 我々は、MinMax代数が、表現的に強力で効率的な実装が可能な反復形式を提供しており、最も重要なことは、消滅や爆発的な勾配の影響を受けないことを示している。 我々はMinMax Recurrent Neural Cascades (RNC) を、そのような再発を利用するニューロンの層をカスケードしたモデルと呼ぶ。 我々はMinMax RNCが多くの理論的性質を享受していることを示す。 第一に、それらの形式的表現性はすべての正則言語を含み、有限メモリ系に対する最大表現性(英語版)(maximal expressivity)である。 第二に、十分なプロセッサが与えられた入力長の対数的なランタイムと並列に評価できるし、順次評価することもできる。 第三に、それらの状態とアクティベーションは全ての入力長に対して一様に制限される。 第4に、ほぼすべての点で、損失勾配が存在し、有界である。 5つ目は、過去の状態w.r.t.の状態の勾配は、2つの状態間の時間距離に関わらず、一定の値を持つことができることである。 最後に、MinMax RNCの好ましい理論的特性は、多くの合成タスクを完璧に解き、最先端のリカレントニューラルネットワークよりも優れた性能を示すこと、次世代の予測で127MパラメータのMinMax RNCを訓練すること、そして得られたモデルは、そのサイズに対して競合的な性能を示し、実世界のタスクにおけるMinMax RNCの可能性を示すこと、といった実用能力によって一致していることを示す。

関連論文リスト

• A Depth Hierarchy for Computing the Maximum in ReLU Networks via Extremal Graph Theory [3.0120086446979877]
  本稿では,ReLUニューラルネットワークを用いた実入力に対して$d$以上の最大関数の正確な計算問題を考察する。 十分に狭いネットワークでは、最大値の非線形性を捕捉できないことを示す。 このことは、その単純性にもかかわらず、最大函数は固有の複雑さを持っていることを示唆している。
  論文  参考訳（メタデータ） (2026-01-04T07:40:42Z)
• When Bayesian Tensor Completion Meets Multioutput Gaussian Processes: Functional Universality and Rank Learning [53.17227599983122]
  関数テンソル分解は実数値インデックスを用いて多次元データを解析することができる。 そこで本研究では,Right-Revealing Functional Low-rank tensor completion (RR-F)法を提案する。 連続多次元信号に対するモデルの普遍近似特性を確立する。
  論文  参考訳（メタデータ） (2025-12-25T03:15:52Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Stuffed Mamba: Oversized States Lead to the Inability to Forget [53.512358993801115]
  Mambaベースのモデルは、内蔵の忘れ物機構であっても、以前のトークンを効果的に忘れるのに苦労していることを示す。 モデルの学習に必要な最小トレーニング長は状態サイズと線形に一致し,5桁パスキーの精度向上のための最大コンテキスト長は状態サイズと指数関数的に一致した。 我々の研究は、将来のRNN設計は、状態サイズ、トレーニング期間、長いコンテキストタスクにおいて堅牢なパフォーマンスを達成するためのメカニズムを忘れることの間の相互作用を考慮しなければならないことを示唆している。
  論文  参考訳（メタデータ） (2024-10-09T17:54:28Z)
• Capacity of the treelike sign perceptrons neural networks with one hidden layer -- RDT based upper bounds [0.0]
  エンファンサイン知覚神経ネットワーク(SPNN)の能力について検討する。 我々は,TCM (1-hidden Layer Emphtreelike Committee Machine) アーキテクチャに注目した。
  論文  参考訳（メタデータ） (2023-12-13T16:06:18Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Breaking the Limits of Message Passing Graph Neural Networks [6.175401630947573]
  グラフニューラルネットワーク(MPNN)は、スパースグラフに適用する場合のノード数に関して線形複雑である。 本稿では, 固有値の非線形なカスタム関数により, グラフ畳み込みサポートがスペクトル領域で設計されている場合, MPNNは1-WLテストよりも理論的に強力であることを示す。
  論文  参考訳（メタデータ） (2021-06-08T13:26:56Z)
• ReLU Neural Networks of Polynomial Size for Exact Maximum Flow Computation [5.35599092568615]
  本稿では,線形整流ユニットを用いたニューラルネットワークのパワーについて検討する。 我々は,2つの基本最適化問題を$mathcalO(m2n2)$のニューラルネットワークで解くことができることを示した。
  論文  参考訳（メタデータ） (2021-02-12T17:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。