論文の概要: REALM: Regime-Switching, Explainable, and Activation-Induced Linear Models
- arxiv url: http://arxiv.org/abs/2609.32141v1
- Date: Sat, 26 Sep 2026 01:58:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 19:31:52.105153
- Title: REALM: Regime-Switching, Explainable, and Activation-Induced Linear Models
- Title（参考訳）: REALM:Regime-Switching, Explainable, Activation-induced Linear Models
- Abstract要約: Deep ReLUネットワークは入力空間をセルに分割し、それぞれが異なる活性化パターンによって特徴づけられる。
本稿では,ニューラルアクティベーションパターンによってレジームが誘導される線形モデルの混合REALMを提案する。
実験の結果,REALMは他の混合サロゲートと比較して競合予測性能が得られた。
- 参考スコア（独自算出の注目度）: 8.367695320226057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep ReLU networks are piecewise-affine mappings that partition the input space into cells, each characterized by a distinct activation pattern. This structure motivates fitting a local linear model within each cell to preserve predictive accuracy while improving interpretability. The challenge is to identify regimes that are stable, data-adaptive, and easy to explain. We propose REALM, a mixture of linear models whose regimes are induced by neural activation patterns. Because the number of activation cells in a deep neural network (DNN) can grow rapidly with depth, we first distill a deep teacher into a wide, shallow student network (WSSN), then binarize and cluster its hidden-layer activations to define the regimes and fit a linear model within each regime. Since the regimes are discovered from internal structure, the router does not carry the predictive burden. To make regime assignment interpretable, we train a multiclass logistic regression, the explanatory gate, to reproduce the regime assignments. The two-level structure is interpretable at both stages in terms of raw tabular or learned convolutional features: the gate identifies features that determine regime assignments, while the linear models identify features that drive predictions within each regime. We analyze an idealized setting that illustrates a trade-off between partition complexity and stability: as the number of regimes grows, finer partitions can improve approximation but may reduce regime-assignment stability. Experiments on tabular and image datasets show that REALM achieves competitive predictive performance relative to other DNN-guided mixture surrogates and inherently interpretable models while producing stable regime-level explanations.
- Abstract（参考訳）: Deep ReLUネットワークは、入力空間をセルに分割する断片的なファインマッピングであり、それぞれが異なるアクティベーションパターンによって特徴づけられる。
この構造は、各セル内の局所線形モデルへの適合を動機付け、解釈性を改善しつつ予測精度を維持する。
課題は、安定し、データ順応し、簡単に説明できる体制を特定することである。
本稿では,ニューラルアクティベーションパターンによってレジームが誘導される線形モデルの混合REALMを提案する。
ディープニューラルネットワーク(DNN)における活性化セルの数は、深さとともに急速に増加するので、まず、ディープ教師を広い浅い学生ネットワーク(WSSN)に蒸留し、次に隠れた階層の活性化をバイナライズしてクラスタ化し、レシスタンスを定義し、各レシスタンス内に線形モデルに適合させる。
内部構造からレギュレータが検出されるため、ルータは予測負荷を伴わない。
そこで我々は,多クラスロジスティック回帰(説明ゲート)をトレーニングし,レジーム割り当てを再現する。
2階層構造は、生の表や学習した畳み込みの特徴の観点から、両方の段階で解釈可能である:ゲートは、レシエーション割り当てを決定する特徴を識別し、リニアモデルは、各レシエーション内で予測を駆動する特徴を識別する。
我々は、分割複雑性と安定性のトレードオフを示す理想的な設定を分析し、レシシブの数が増えるにつれて、より微細なパーティションは近似を改善するが、レシフィケーション割り当ての安定性を低下させる可能性がある。
表と画像のデータセットを用いた実験により、REALMは他のDNN誘導混合サロゲートや本質的に解釈可能なモデルと比較して、安定な状態レベルの説明を生成しながら、競争力のある予測性能を達成することが示された。
関連論文リスト
- Structured Neural SDEs for Functional Calibration [1.2107297090229683]
構造化線形層から構築されたニューラルSDEモデルのファミリーであるSLiSDEを紹介する。
層レベルでパラレル・イン・タイム・シミュレーションを行い, ゲート・イン・フロー・スタックリングにより表現性を回復する。
機能キャリブレーションベンチマークの実験では、構造化されたモデルは完全な神経性SDEベースラインよりも優れていた。
論文 参考訳（メタデータ） (2026-09-28T10:25:03Z) - On the Identifiability of Regime-Switching Models with Multi-Lag Dependencies [42.274922469778545]
マルチラグレジームスイッチングモデル(RSM)の一般的な理論的枠組みを開発する。
非線形ガウス条件下では,レギュラー数とマルチラグ遷移の双方の識別可能性を示す。
我々の結果は、アーキテクチャとノイズの仮定を通して完全に教師なしの設定を保ちます。
論文 参考訳（メタデータ） (2026-01-06T15:12:39Z) - Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
ランダム行列によって駆動される高次元力学系について概説する。
機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
論文 参考訳（メタデータ） (2026-01-03T00:12:32Z) - Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。
NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。
我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文 参考訳（メタデータ） (2025-09-22T15:13:14Z) - Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling [3.8719670789415925]
リカレント・コンフィグレーション・ネットワーク(RSCN)は不確実性のある非線形力学系をモデル化する大きな可能性を示している。
本稿では,ネットワークの学習能力と一般化性能を両立させるために,ハイブリッド正規化を備えたRCCNを提案する。
論文 参考訳（メタデータ） (2024-11-26T03:06:39Z) - Hybrid Recurrent Models Support Emergent Descriptions for Hierarchical Planning and Control [0.8749675983608172]
リカレントスイッチング線形力学系(rSLDS)として知られるハイブリッド状態空間モデルのクラスは、意味のある振る舞い単位を発見する。
我々は、rSLDSによって形成されたリッチな表現は、計画と制御に有用な抽象化を提供することができると提案する。
本稿では,低レベル線形二乗制御器上に離散型MDPを配置する,アクティブ推論にインスパイアされた新しい階層型モデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-20T16:02:54Z) - Recurrent Spectral Network (RSN): shaping the basin of attraction of a
discrete map to reach automated classification [4.724825031148412]
自動分類のための新しい戦略が導入された。これは、完全に訓練された動的システムを利用して、アイテムを異なる引き付け者に向けて操る。
非線型項はトランジェントに作用し、初期条件として供給されたデータを離散力学系に切り離すことができる。
我々の新しい分類手法であるRecurrent Spectral Network (RSN) は、画像処理訓練のための標準データセットと同様に、図形的な目的のために作成された単純なテストベッドモデルに挑戦することに成功した。
論文 参考訳（メタデータ） (2022-02-09T14:59:06Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳（メタデータ） (2020-11-04T07:43:01Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。