論文の概要: Linear Reservoir: A Diagonalization-Based Optimization
- arxiv url: http://arxiv.org/abs/2602.19802v1
- Date: Mon, 23 Feb 2026 12:58:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.819375
- Title: Linear Reservoir: A Diagonalization-Based Optimization
- Title（参考訳）: リニア貯留層:対角化に基づく最適化
- Authors: Romain de Coudenhove, Yannis Bendi-Ouis, Anthony Strock, Xavier Hinaut,
- Abstract要約: 線形エコー状態ネットワーク(ESN)の対角化に基づく最適化
線形エコー状態ネットワーク(ESN)の対角化に基づく最適化を導入し,O(N2)からO(N)への貯水池状態更新のステップ毎の計算複雑性を低減する。
- 参考スコア（独自算出の注目度）: 1.7258249784556916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a diagonalization-based optimization for Linear Echo State Networks (ESNs) that reduces the per-step computational complexity of reservoir state updates from O(N^2) to O(N). By reformulating reservoir dynamics in the eigenbasis of the recurrent matrix, the recurrent update becomes a set of independent element-wise operations, eliminating the matrix multiplication. We further propose three methods to use our optimization depending on the situation: (i) Eigenbasis Weight Transformation (EWT), which preserves the dynamics of standard and trained Linear ESNs, (ii) End-to-End Eigenbasis Training (EET), which directly optimizes readout weights in the transformed space and (iii) Direct Parameter Generation (DPG), that bypasses matrix diagonalization by directly sampling eigenvalues and eigenvectors, achieving comparable performance than standard Linear ESNs. Across all experiments, both our methods preserve predictive accuracy while offering significant computational speedups, making them a replacement of standard Linear ESNs computations and training, and suggesting a shift of paradigm in linear ESN towards the direct selection of eigenvalues.
- Abstract（参考訳）: 線形エコー状態ネットワーク(ESN)の対角化に基づく最適化を導入し,O(N^2)からO(N)への貯水池状態更新のステップ毎の計算複雑性を低減する。
リカレント行列の固有基底における貯水池のダイナミクスを再構成することにより、再カレント更新は独立な要素演算の集合となり、行列乗算は排除される。
さらに、状況に応じて最適化を利用する3つの方法を提案する。
(i)EWT(Eigenbasis Weight Transformation)は、標準および訓練された線形ESNの力学を保存する。
二 変換空間における読み出し重量を直接最適化するエンド・ツー・エンド固有ベイズ訓練(EET)
三 固有値及び固有ベクトルを直接サンプリングすることにより行列対角化を回避し、標準線形ESNに匹敵する性能を達成する直接パラメータ生成(DPG)。
全ての実験において,両手法は計算速度を向上しながら予測精度を保ち,線形ESNの計算と訓練の標準的代替となり,固有値の直接選択に向けた線形ESNのパラダイムシフトが示唆された。
関連論文リスト
- PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。
PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。
この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
論文 参考訳（メタデータ） (2026-02-11T12:39:41Z) - ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。
常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。
ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文 参考訳（メタデータ） (2026-02-07T10:19:36Z) - FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer [30.184978506988767]
我々は、フィッシャー情報幾何を通して異方性ニューロトロピックな幾何情報を含むFISMOを紹介する。
FISMOは、確立されたベースラインよりも優れた効率と最終性能を達成する。
論文 参考訳（メタデータ） (2026-01-29T14:05:04Z) - Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization [13.97375970293678]
DPO(Direct Preference Optimization)は、その単純さと訓練安定性から、オフライン優先最適化アルゴリズムとして広く使われている。
3つの重要なイノベーションを特徴とする新しいアライメントフレームワークであるLinear Preference Optimization (LPO)を提案する。
まず,対数シグモイド関数を絶対差分損失に置き換え,最適化力学を分離することで勾配デカップリングを導入する。
第2に、選択された応答品質を維持するために、オフセット制約と正の正則化項を組み合わせることで安定性を向上させる。
第3に、直感的な推定を伴う勾配分離と、その相対確率の降下を線形に制御する調整可能な係数を用いて、制御可能な拒絶抑制を実装した。
論文 参考訳（メタデータ） (2025-08-20T10:17:29Z) - A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。
簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ
我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
論文 参考訳（メタデータ） (2025-06-18T15:10:38Z) - Spectral-factorized Positive-definite Curvature Learning for NN Training [39.296923519945814]
Adam(W) や Shampoo のような訓練手法は正定値の曲率行列を学習し、プレコンディショニングの前に逆根を適用する。
スペクトル分解正定曲率推定を動的に適用するリーマン最適化手法を提案する。
論文 参考訳（メタデータ） (2025-02-10T09:07:04Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳（メタデータ） (2020-12-21T06:40:20Z) - Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。
本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。
本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。
また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文 参考訳（メタデータ） (2020-04-02T10:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。