論文の概要: Scalable Perturbation Learning for Online Self-Supervised Echo State Networks

• arxiv url: http://arxiv.org/abs/2607.06079v1
• Date: Tue, 07 Jul 2026 09:47:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.474454
• Title: Scalable Perturbation Learning for Online Self-Supervised Echo State Networks
• Title（参考訳）: オンライン自己監督型Echo状態ネットワークのためのスケーラブル摂動学習
• Abstract要約: エコー状態ネットワークにおけるオンライン自己教師型学習のための摂動型学習ルールを提案する。 入力依存成分のみを摂動することにより、有効摂動次元を貯水池次元から入力次元に還元する。 これはスケーラブルでハードウェア互換の学習のための設計原則を示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intelligent systems should not only solve tasks but also adapt under real-world constraints. Autonomous adaptation via self-supervised learning, sequential adaptation via online learning, and memory-efficient implementation via perturbation-based learning are important requirements for such systems. However, these requirements are generally in tension for high-dimensional systems, because perturbation-based learning suffers from variance that grows with the dimension of the perturbed variables. In this study, we focus on echo state networks (ESNs), where this tension naturally arises in large reservoirs. We propose a perturbation-based learning rule for online self-supervised learning in ESNs. The proposed rule is derived from an orthogonal decomposition of the self-supervised learning cost, which separates an input-dependent component from a redundant component determined by the fixed ESN parameters. By perturbing only the input-dependent component, the effective perturbation dimension is reduced from the reservoir dimension to the input dimension. Thus, the proposed method preserves self-supervised adaptation, online learning, and scalar-feedback perturbation learning, while avoiding reservoir-size-dependent variance growth. This suggests a design principle for scalable and hardware-compatible learning: online learning should be restricted to the dynamically necessary low-dimensional component of the objective.
• Abstract（参考訳）: インテリジェントシステムは、タスクの解決だけでなく、現実世界の制約の下でも適応すべきである。 自己指導型学習による自律的適応,オンライン学習による逐次的適応,摂動型学習によるメモリ効率の向上は,このようなシステムにとって重要な要件である。 しかしながら、これらの要件は、摂動に基づく学習が摂動変数の次元で成長する分散に悩まされるため、一般的に高次元システムに対して緊張関係にある。 本研究では,大きな貯水池で自然にこの張力が発生するエコー状態ネットワーク(ESN)に着目した。 ESNにおけるオンライン自己教師型学習のための摂動型学習ルールを提案する。 提案法は, 自己教師付き学習コストの直交分解から導かれ, 入力依存成分を固定ESNパラメータによって決定された冗長成分から分離する。 入力依存成分のみを摂動することにより、有効摂動次元を貯水池次元から入力次元に還元する。 そこで本提案手法は,貯水池の大きさに依存した分散成長を回避しつつ,自己指導型適応,オンライン学習,スカラーフィードバック摂動学習を維持できる。 これは、スケーラブルでハードウェア互換の学習のための設計原則を示唆している。オンライン学習は、目的の動的に必要となる低次元のコンポーネントに制限されるべきである。

関連論文リスト

• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• Rotation Control Unlearning: Quantifying and Controlling Continuous Unlearning for LLM with The Cognitive Rotation Space [66.51378598755933]
  本研究では,学習継続過程における学習度を定量化し,制御する,回転制御アンラーニング(RCU)と呼ばれる新しい手法を提案する。 歪対称損失は、回転角の変化が連続的未学習過程をシミュレートできる認知回転空間の存在を構築するように設計されている。 複数のデータセットに対する実験により、保持されたデータセットを持たないメソッドがSOTA性能を達成することを確認した。
  論文  参考訳（メタデータ） (2025-09-30T03:59:29Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Harnessing intuitive local evolution rules for physical learning [0.0]
  境界パラメータのみを外部制御する物理系のためのトレーニング手法を提案する。 このスキームを用いることで、これらの境界許容適応状態チューニングシステムは、局所的なフィズ・カルルールを利用して学習する。 BEASTAL(BEAST-Adaline)は,Adalineアルゴリズムに最も近い類似手法である。
  論文  参考訳（メタデータ） (2025-07-25T10:51:42Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• On-device edge learning for IoT data streams: a survey [1.7186863539230333]
  本稿では,ニューラルネットワーク(NN)と決定木(DT)の文脈におけるデバイス上でのトレーニングのための連続的学習手法について検討する。 データアーキテクチャ(バッチ対ストリーム)やネットワーク容量(クラウド対エッジ)といった重要な制約を強調します。 調査では、リソース制約のあるエッジデバイスにディープラーニングをデプロイする際の課題について詳述している。
  論文  参考訳（メタデータ） (2025-02-25T02:41:23Z)
• LeARN: Learnable and Adaptive Representations for Nonlinear Dynamics in System Identification [0.0]
  非線形システム識別フレームワークLeARNを導入する。 基礎関数のライブラリをデータから直接学習することで、事前のドメイン知識の必要性を超越します。 我々はNeural Flyデータセットのフレームワークを検証し、その堅牢な適応と能力を示す。
  論文  参考訳（メタデータ） (2024-12-16T18:03:23Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• UNDIAL: Self-Distillation with Adjusted Logits for Robust Unlearning in Large Language Models [12.45822383965784]
  本稿では,UnDIAL(Unlearning via Self-Distillation on Adjusted Logits)を紹介する。 本手法では, 自己蒸留を利用してロジットを調整し, ターゲットトークンの影響を選択的に低減する。
  論文  参考訳（メタデータ） (2024-02-15T16:21:14Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。