論文の概要: MulClip: A table-free activation function with monotonic and folding regimes for reservoir computing on microcontrollers
- arxiv url: http://arxiv.org/abs/2610.39343v1
- Date: Thu, 29 Oct 2026 04:32:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.458982
- Title: MulClip: A table-free activation function with monotonic and folding regimes for reservoir computing on microcontrollers
- Title(参考訳): MulClip:マイクロコントローラ上での貯水池計算のための単調・折り畳み型テーブルフリーアクティベーション関数
- Abstract要約: MulClipはマイクロコントローラ上の貯水池コンピューティングのための軽量なアクティベーション機能である。
ハードウェア上で測定された最新時刻は、タンの0.34倍であり、評価されたタンの近似のどれよりも短い。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This letter proposes MulClip, a lightweight activation function for reservoir computing (RC) on microcontrollers (MCUs). In a ring reservoir, a representative sparse RC topology, multiply-accumulate operations are few, and evaluating tanh accounted for 75% of the state-update time on a Cortex-M4. MulClip introduces curvature into the response using only comparison, absolute value, multiplication, and subtraction, and places its clipping threshold not at the extremum but at the point where the response returns to zero after passing the extremum. As a result, a single function has both a monotonic regime and a nonmonotonic folding regime that increases the expressiveness of a single unit. Which regime is used is determined by the usual hyperparameter search, e.g., over the input scale, so no task-specific threshold tuning is required. The state-update time measured on hardware was 0.34 times that of tanh and shorter than that of any of the 11 evaluated tanh approximations. In PC-based evaluation, third-order MulClip achieved a 22% lower NMSE than tanh on NARMA-20, where the pre-activations remained in the monotonic regime, and on 8-bit parity it raised the accuracy from 0.76-0.78 for the monotonic-clip variant without folding to 0.97-0.98. For these two tasks, on-device inference yielded nearly the same values as on the PC.
- Abstract(参考訳): 本稿では,マイクロコントローラ(MCU)上での貯水池コンピューティング(RC)の軽量活性化機能であるMulClipを提案する。
リング貯水池では、代表スパルスRCトポロジー、乗算累積演算は少なく、Cortex-M4上での状態更新時間の75%を占めるタンを評価する。
MulClipは、比較、絶対値、乗算、減算のみを用いて応答に曲率を導入し、そのクリッピング閾値を極端ではなく極端を通過した後に応答がゼロに戻る点に配置する。
その結果、単一函数は単調な状態と単調でない折りたたみ状態の両方を持ち、単一の単位の表現性を増大させる。
どのレギュレーションが使用されるかは、通常のハイパーパラメータサーチ、例えば入力スケールで決定されるため、タスク固有のしきい値チューニングは不要である。
ハードウェア上で測定された最新時刻は、タンの0.34倍であり、評価されたタンの近似のどれよりも短い。
PCによる評価では、NARMA-20では3階のMulClipはタンよりも22%低いNMSEを達成し、モノトニックな状態のままであり、8ビットのパリティでは0.76-0.78の精度を0.97-0.98まで向上させた。
これら2つのタスクに対して、オンデバイス推論はPCとほぼ同じ値を得た。
関連論文リスト
- DEX: Digit-Level Early Exit for Energy-Efficient MSDF Neural Network Inference [2.5799854351636564]
最も重要な桁第一算術は、計算中に結果の先頭の桁を露出する。
4つの実行機構が出力桁ストリーム上で直接動作する。
BraTSのためにnnU-Netで訓練された残留U-Netでは、提案されたメカニズムは桁サイクルを38.38%削減する。
論文 参考訳(メタデータ) (2026-10-08T11:39:01Z) - The Missing Fourth Term for the Emulation Tensor Memory Equilibrium (TME) Model: The Residue Deconstruction Cost [0.0]
『FP8 is All You Need』(パート1)では、テンソルコア項の最大値としてfp64の尾崎スキームIIエミュレーションの実行時間と、ハイバンド幅メモリ(HBM)トラフィック項と出力毎の再構成項を算出する。
すべてのストリームfp64は、任意の行列乗算が発行される前にSIMTパイプ上の$r$モジュラーのそれぞれをスケール、丸め、減らさなければならない。
残余の事前計算と保存は、同じコストで帯域幅の項に移行し、命令数を示す。
論文 参考訳(メタデータ) (2026-10-07T21:27:35Z) - Right In-Place (RiP) Convolution: A Simple, General, and Near-Optimal Strategy for Memory-Efficient CNN Inference [0.0]
演算ではなくアクティベーションメモリは、マイクロコントローラのような制約のあるハードウェア上でのCNN推論を制限する。
直接 in-place 畳み込みは二重バッファのコストを低減させるが、Gural と Murmann のメモリ最適化の定式化は有効なパディング、単位非有界ストライド、単位拡張、奇数正方核を仮定する。
本稿では,各レイヤが共有ワークスペース内で入力を右に読み取り,インデックスゼロから出力を左に書き込むという,ビット単位の演算であるRight In-Place畳み込みを提案する。
論文 参考訳(メタデータ) (2026-09-30T18:51:30Z) - TinyUDE: Solver-Free Universal Differential Equations on Microcontrollers via Lie-Taylor Jet Matching [0.0]
普遍微分方程式(UDEs)の訓練は、伝統的に数値ODEソルバによるバックプロパゲーションに依存している。
システム状態の第1および第2の時間微分に、ハイブリッドベクトル場を直接適合させる解法のないトレーニングフレームワークであるLie-Taylor jet matchingを提案する。
論文 参考訳(メタデータ) (2026-09-22T19:09:00Z) - Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。
アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。
また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
論文 参考訳(メタデータ) (2026-07-13T23:13:57Z) - Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。
自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
論文 参考訳(メタデータ) (2026-02-13T04:05:03Z) - NeuMatC: A General Neural Framework for Fast Parametric Matrix Operation [75.91285900600549]
我々は、一般的なパラメトリック行列演算タスクをエレガントに扱うtextbftextitNeural Matrix Computation Framework (NeuMatC)を提案する。
NeuMatCは、パラメータから対応する行列演算結果への低ランクかつ連続的なマッピングを教師なしで学習する。
合成と実世界の両方のデータセットの実験結果は、NeuMatCの有望な性能を示している。
論文 参考訳(メタデータ) (2025-11-28T07:21:17Z) - Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted
Activations [52.031701581294804]
ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。
このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。
提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
論文 参考訳(メタデータ) (2024-01-25T09:23:31Z) - LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning [66.85589263870702]
提案手法では,事前学習した行列を高精度の低ランク成分とメモリ効率の量子化成分に分解するために反復アルゴリズムを用いる。
微調整されたRoBERTaとLLaMA-2の実験は、我々の低ランク+量子化行列分解法(LQ-LoRA)が強いQLoRAおよびGPTQ-LoRAベースラインより優れていることを示した。
論文 参考訳(メタデータ) (2023-11-20T18:57:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。