論文の概要: LoRA-RC: Reservoir Computing with Low-Rank Adaptation
- arxiv url: http://arxiv.org/abs/2609.12327v1
- Date: Fri, 11 Sep 2026 01:19:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.579702
- Title: LoRA-RC: Reservoir Computing with Low-Rank Adaptation
- Title（参考訳）: LoRA-RC: 低ランク適応型貯留層計算
- Abstract要約: LoRA-RCは、ストリーミング予測エラーによって駆動される低ランク補正により、リカレント行列に適応する。
急激なパラメータドリフトを持つLorenzシステムでは、LoRA-RCは、固定されたRCに対して56%、リードアウトのみの適応に対して51%削減する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reservoir computing (RC) trains only a linear readout over a fixed recurrent layer, making it fast and data-efficient for online prediction. However, a static reservoir degrades under system drift, readout-only adaptation is then insufficient, and unconstrained reservoir adaptation can destroy the echo-state and incremental stability properties that make RC reliable. This paper proposes LoRA-RC, which adapts the recurrent matrix through a low-rank correction driven by streaming prediction errors. The base reservoir and adaptation bases are fixed offline; a small core matrix is adapted online, projected onto a spectral-norm ball, and low-pass filtered at each step. The projection guarantees that every applied recurrent matrix remains within a certified contraction set, and an incremental input-to-state stability bound is established for the reservoir along each online adaptation path, with path-independent rate and gain. On a Lorenz system with an abrupt parameter drift, LoRA-RC cuts post-drift prediction error by 56% versus a fixed RC and 51% versus readout-only adaptation; ablations over 20 seeds show that removing the projection inflates this error by more than a factor of 40.
- Abstract（参考訳）: 貯留層計算(Reservoir Computing, RC)は、リカレント層上の線形読み出しのみを訓練し、オンラインでの予測を高速かつ効率的に行う。
しかし、静的貯水池はシステムドリフト下で劣化し、リードアウトのみの適応は不十分であり、制約のない貯水池適応はRCを信頼性のあるエコー状態および漸進安定性を損なう可能性がある。
本稿では,ストリーミング予測誤差によって駆動される低ランク補正により,リカレント行列を適応するLoRA-RCを提案する。
ベース貯水池と適応基地はオフラインで固定されており、小さなコアマトリックスはオンラインで適応され、スペクトルノルム球に投影され、各ステップで低パスフィルタされる。
このプロジェクションは、適用されたリカレント行列が認証された収縮セット内に留まることを保証し、各オンライン適応パスに沿った貯水池に対して、パス非依存のレートと利得でインクリメンタルな入力-状態安定性境界を確立する。
急激なパラメータドリフトを持つLorenzシステムでは,LoRA-RCは固定RCに対して56%,リードアウトのみの適応では51%の誤差を削減した。
関連論文リスト
- SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。
各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。
5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
論文 参考訳（メタデータ） (2026-08-25T19:01:58Z) - SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。
完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。
本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
論文 参考訳（メタデータ） (2026-06-15T09:27:50Z) - HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization [48.87937677659571]
本稿では, HARP (Hadamard-preconditioned Adaptive Rotation Processor) を導入する。
1Bから70Bまでのモデルの2-4ビット設定では、HARPは固定RHTよりもパープレキシティとゼロショット精度を改善している。
HarPはデプロイ効率を保ち、FP16では128トン/秒、61トン/秒に達する。
論文 参考訳（メタデータ） (2026-05-28T12:24:15Z) - Trust Region Q Adjoint Matching [54.05514246126841]
本稿では,経路空間KLを予め訓練されたフローポリシーで適応的に制御する安定なオフポリチック微調整アルゴリズムであるTrust Region Q-Adjoint Matching (TRQAM)を紹介する。
TRQAMは、オフラインRLとオフライン-オフラインRLの両方において、常に先行技術を上回っている。
論文 参考訳（メタデータ） (2026-05-26T14:28:43Z) - Relative Repairability: A Calibration-Based Diagnostic for High-Sparsity Post-Pruning Allocation [12.288779306467768]
相対修復性 (RR) はキャリブレーションに基づく診断であり、層状プルーニングによる生の活性化歪みとチャネル状分散整合修復後の残留歪みを比較する。
RRはアーキテクチャ依存の回復可能性遷移(Recoverability transition)の近くで最も有用であり、標準的な構造や大きさに基づくアロケーションが信頼性を失い始めるが、修復後のリカバリはまだ完全には崩壊していない。
これらの結果から, 高い疎水性プルーニングは, 保持重量だけでなく, 修復性にも寄与することが示唆された。
論文 参考訳（メタデータ） (2026-05-25T07:12:38Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - ARC-STAR: Auditable Post-Hoc Correction for PDE Foundation Models [47.9430487327673]
ARC-STARは修正を3段階にまとめる: グローバルな修正器は広い解法バイアスを除去し、ブロックワイドな局所精錬器はポストグロバル残差を浄化し、展開時にはラベルフリースコアは計算予算の下でハイリスクなブロックに精算する。
ARC-STARは、全ての細胞で生ポセイドンよりも少なくとも36倍の速度ロールアウト誤差を減少させる唯一の方法である。
論文 参考訳（メタデータ） (2026-05-21T09:26:16Z) - Adaptive Signal Resuscitation: Channel-wise Post-Pruning Repair for Sparse Vision Networks [8.5133415329194]
1発のマグニチュードプルーニングは、高スパーシティ・レシエーションにおいて深刻な精度の崩壊を引き起こす可能性がある。
そこで我々は,ASR (Adaptive Signal Resuscitation) を訓練不要なチャネルワイズ修復法として提案する。
ASRは、各出力チャネルの分散マッチング補正を推定し、データ駆動収縮規則で安定化する。
論文 参考訳（メタデータ） (2026-05-20T17:19:01Z) - Reframing preprocessing selection as model-internal calibration in near-infrared spectroscopy: A large-scale benchmark of operator-adaptive PLS and Ridge models [0.2609784101826761]
本稿では,探索を1つのキャリブレーションステップに分解できる事例について検討する。
線形演算子適応キャリブレーションは、徹底的な前処理スクリーニングに匹敵する予測品質を与える。
論文 参考訳（メタデータ） (2026-05-13T14:23:00Z) - OCRR: A Benchmark for Online Correction Recovery under Distribution Shift [0.0]
OCRR (Online Correction Recovery Rate) は、コーパスを分類システムを通じてストリームし、間違った予測にオラクルや修正を適用するベンチマークである。
連続学習ベースラインは、同じメモリ予算で32.6ポイントも上回っている。
また、LoRA-on-DeBERTa-v3の保持率も84.6%アップした。
論文 参考訳（メタデータ） (2026-05-04T20:51:07Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳（メタデータ） (2026-03-07T01:49:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。