論文の概要: From Redundancy to Minimality: Fixed-Point-Guided Hierarchical Reduction of Learned Piecewise-Linear Dynamics

• arxiv url: http://arxiv.org/abs/2610.01369v1
• Date: Thu, 01 Oct 2026 09:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.034566
• Title: From Redundancy to Minimality: Fixed-Point-Guided Hierarchical Reduction of Learned Piecewise-Linear Dynamics
• Title（参考訳）: 冗長性から最小性へ:一点誘導型階層的リダクションによる学習的ピアース-リニアダイナミクス
• Abstract要約: ほぼ線形リカレントニューラルネットワーク(AL-RNN)は、ReLU非線形性を用いるユニットのサブセットのみを含む、一方向リカレントニューラルネットワークである。 本稿では,選択したReLU単位を段階的に線形化する固定点誘導階層化手法を提案する。 我々は、$Q$異なる固定点を再現するには少なくとも$Q$FPを含むシンボルが必要であることを証明している。
• 参考スコア（独自算出の注目度）: 0.6605210585717246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding a nonlinear dynamical system from time series requires not only reproducing its trajectories, but also identifying a simple representation that preserves its essential dynamical structure. Almost-linear recurrent neural networks (AL-RNNs) are piecewise-linear RNNs in which only a subset of units use ReLU nonlinearities, so that nonlinear capacity is explicitly controlled by the number of ReLU units. Their activation patterns define linear regions, represented as symbols, whose observed transitions form a symbolic transition graph. However, directly training AL-RNNs with few ReLU units to realize minimal dynamical representations can be unreliable. We ask whether an AL-RNN with more ReLU units can instead be trained first and systematically reduced to a minimal dynamical representation. We introduce a fixed-point-guided hierarchical reduction procedure that progressively linearizes selected ReLU units, merging neighboring linear regions and graph nodes while preserving distinct symbols containing fixed points (FPs). The resulting reduction tree defines a hierarchy of progressively simpler candidates. Each reduced candidate is initialized from the parent parameters and retrained under guidance from the parent dynamics. We also prove that reproducing $Q$ distinct fixed points requires at least $Q$ FP-containing symbols, providing a certificate of symbol-level minimality when this bound is attained. On the 3-scroll Chua system, direct training with the theoretical minimum of three ReLU units achieves high-fidelity minimal realizations in only 20% of seeds, whereas our learn-reduce-retrain strategy increases the seed-macro success rate to approximately 71% at the same final nonlinear capacity. These results show that redundant nonlinear capacity can serve as a scaffold for discovering and realizing minimal dynamical representations.
• Abstract（参考訳）: 時系列から非線形力学系を理解するには、その軌道を再現するだけでなく、その本質的な力学構造を保存する単純な表現を同定する必要がある。 ほぼ線形リカレントニューラルネットワーク(AL-RNN)は、ReLUユニットのサブセットのみがReLU非線形性を使用しており、非線形容量はReLUユニット数によって明示的に制御される。 それらの活性化パターンは、観測された遷移がシンボル遷移グラフを形成する記号として表される線形領域を定義する。 しかし、最小限の動的表現を実現するために、ReLUユニットが少ないAL-RNNを直接訓練することは不可能である。 より多くのReLUユニットを持つAL-RNNを第一に訓練し、最小限の動的表現に体系的に還元できるかどうかを問う。 固定点を含むシンボル(FP)を保存しながら、隣接する線形領域とグラフノードを融合させ、選択されたReLU単位を段階的に線形化する固定点誘導階層化手順を導入する。 結果として生じる還元木は、徐々に単純な候補の階層を定義している。 各縮小された候補は、親パラメータから初期化され、親ダイナミクスからのガイダンスの下で再訓練される。 また、$Q$異なる固定点を再現するには少なくとも$Q$ FPを含むシンボルが必要であり、この境界が達成されたときにシンボルレベル極小性の証明書を提供する。 3-スクロールチュア系では、3つのReLU単位の理論的最小値による直接訓練により、種子の20%で高忠実度最小化が達成される一方、我々の学習・還元・再訓練戦略は、同じ最終非線形キャパシティにおいて、種子・マクロ成功率を約71%に向上させる。 これらの結果は、冗長な非線形キャパシティが最小の動的表現を発見し、実現するための足場として機能することを示している。

関連論文リスト

• Kernel Reboot: Breaking the Boundaries of Neural Tangent Kernels for Neural Fields [87.10527266147078]
  スパース観測からニューラルネットワークを高速に再構築するための3つのアルゴリズムを開発した。 NTK-KIPは、有限のNTKが大きな欠損領域を塗ることができるように、蒸留された座標の支持セットを学習する。 MetaQuill-KIPは、KIPスタイルの非線形ウォームスタートでタスクをシードし、その小さなオフセットだけを洗練する。 このことは、NTK駆動のニューラルネットワークを非線形とメタ学習の両方にすることができることを示している。
  論文  参考訳（メタデータ） (2026-09-02T19:53:32Z)
• When Both Layers Learn: Training Dynamics of Representing Linear Models via ReLU Networks [22.81761236732655]
  線形対象関数に適合する1層ReLUネットワークの両層を協調的にトレーニングするための勾配勾配ダイナミクスについて検討した。 本分析では, 隠れ重みが植え付け方向と漸進的に一致し, 出力重みが正しい符号パターンを維持できるアライメントフェーズを3つのフェーズで追跡する。 我々は,全軌道に沿って保持される新しい一様濃度結果を確立し,次々に最適な試料の複雑性を得るのに不可欠である。
  論文  参考訳（メタデータ） (2026-06-03T05:44:30Z)
• A universal linearized subspace refinement framework for neural networks [1.636137854123538]
  本稿では、LSR(Linearized Subspace Refinement)を導入し、LSR(Linearized Subspace Refinement)とLSR(Linearized Subspace Refinement)について述べる。 LSRは、標準学習された解よりも精度が大幅に向上した洗練された予測器を得る。 複合損失構造に関する問題に対しては、一発LSRと教師付き非線形アライメントを交互に行うIterative LSRを導入する。
  論文  参考訳（メタデータ） (2026-01-20T14:03:28Z)
• Scaling Implicit Fields via Hypernetwork-Driven Multiscale Coordinate Transformations [0.0]
  Inlicit Neural Representations (INR)は、画像、3次元形状、符号付き距離場、放射場などの信号を表現するための強力なパラダイムとして登場した。 この研究は、ハイパーネットワークを用いて信号適応座標変換を学習することにより、表現ボトルネックを破る新しいINRのクラスであるHyper-Coordinate Implicit Neural Representations (HC-INR)を導入している。
  論文  参考訳（メタデータ） (2025-11-23T10:27:04Z)
• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
  証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。 線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2022-06-15T22:42:29Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• The Power of Linear Recurrent Neural Networks [1.124958340749622]
  自己回帰線形,すなわち線形活性化リカレントニューラルネットワーク(LRNN)が,任意の時間依存関数f(t)を近似できることを示す。 LRNNは、最小限のユニット数でMSOタスクのこれまでの最先端を上回ります。
  論文  参考訳（メタデータ） (2018-02-09T15:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。