論文の概要: Effective Training Principles of Physical Reservoirs

• arxiv url: http://arxiv.org/abs/2606.10130v1
• Date: Mon, 08 Jun 2026 20:07:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.174715
• Title: Effective Training Principles of Physical Reservoirs
• Title（参考訳）: 物理貯水池の効果的な訓練原理
• Authors: Sobhi Saeed, Mehmet Müftüoglu, Glitta R. Cheeran, Juliane Heim, Bennet Fischer, Mario Chemnitz,
• Abstract要約: 貯留層コンピュータは、リッチでしばしば非線形なダイナミクスを提供する光学現象の固有の複雑さの恩恵を受ける。 しかし、貯水池の出力を直接訓練すると、システムは過度に適合し、訓練期間中に計算的に非効率になる。 オーバーフィッティングを緩和し、出力プルーニングと正規化によって計算オーバーヘッドを削減する戦略について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir computers benefit from the inherent complexity of optical phenomena, which provide rich, often nonlinear dynamics. However, training directly on the reservoir's output renders the system prone to overfitting and computationally inefficient during the training phase. In this work, we investigate strategies to mitigate overfitting and reduce computational overhead through output pruning and regularization. We compare loss-minimizing search methods (Equal Search and Branch and Bound) against an output-oriented statistical filtering approach (Variance Filter) and random pruning, highlighting advantages and disadvantages of each approach and the overall importance of informed reservoir output sampling, particularly for a shrinking latent space. We further demonstrate that enforcing readout selection across the full output spectrum improves performance, especially for non-iterative methods. Additionally, we examine L1 and L2 regularization techniques (LASSO and ridge regression), both of which significantly enhance performance on highly nonlinear tasks such as the Spiral Benchmark. While our methods are of general use, results are obtained from and discussed exemplarily for a nonlinear fiber-optical extreme learning machine. Overall, this study provides a deep analysis of the reservoirs' hidden-layer filtering mechanisms and the output-layer training, enabling optimized performance in physical reservoir computing systems.
• Abstract（参考訳）: 貯留層コンピュータは、リッチでしばしば非線形なダイナミクスを提供する光学現象の固有の複雑さの恩恵を受ける。 しかし、貯水池の出力を直接訓練すると、システムは過度に適合し、訓練期間中に計算的に非効率になる。 本研究では, オーバーフィッティングを緩和し, 出力プルーニングと正規化による計算オーバーヘッドを低減するための戦略について検討する。 損失最小化探索手法(等探索と分岐と境界)と出力指向の統計的フィルタリング手法(可変フィルタ)とランダムプルーニングを比較し,各手法の利点と欠点を強調し,特に縮小した潜在空間において,情報型貯水池出力サンプリングの全体的な重要性を強調した。 さらに、全出力スペクトルにおける読み出し選択の強制は、特に非イテレーティブな方法において、性能を向上させることを実証する。 さらにL1およびL2正則化手法(LASSOおよびリッジ回帰)について検討し、Spral Benchmarkのような高非線形タスクの性能を著しく向上させる。 提案手法は一般的に用いられているが,非線形光ファイバ-極端学習マシンにおいて,実例的に結果が得られ,議論されている。 本研究は, 貯水池の隠れ層フィルタリング機構と出力層学習を深く分析し, 物理貯水池計算システムの性能を最適化した。

関連論文リスト

• The Art of Scaling Reinforcement Learning Compute for LLMs [52.71086085139566]
  強化学習(RL)は、大規模言語モデルの訓練の中心となっている。 計算予算の急激な増加にもかかわらず、RL計算のスケーリングにおけるアルゴリズム改善の評価方法に関する原則的な理解は存在しない。 我々は,約40万時間以上のGPU時間を有する,最初の大規模体系的な研究を提示する。
  論文  参考訳（メタデータ） (2025-10-15T17:43:03Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• EconProver: Towards More Economical Test-Time Scaling for Automated Theorem Proving [64.15371139980802]
  大規模言語モデル(LLM)は、最近、自動定理証明(ATP)の分野を進歩させた。 ATPモデルに対する異なるテスト時間スケーリング戦略は、推論にかなりの計算オーバーヘッドをもたらすことを示す。 本稿では,統一EconRLパイプラインに統合可能な2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:00:13Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• Offline Reinforcement Learning via Inverse Optimization [2.8037951156321372]
  連続状態と行動空間のための新しいオフライン強化学習(ORL)アルゴリズムを提案する。 ORL問題でよく見られる分布変化を緩和するために、我々は頑健で非因果予測制御の専門家を用いる。 既存の文献と異なり、当社の堅牢なMPC専門家は、正確かつトラクタブルな凸修正を楽しみます。
  論文  参考訳（メタデータ） (2025-02-27T12:11:44Z)
• Permutation Invariant Learning with High-Dimensional Particle Filters [8.878254892409005]
  深層モデルのシークエンシャルラーニングは、しばしば破滅的な忘れ物や可塑性の喪失といった課題に悩まされる。 本研究では,高次元粒子フィルタに基づく新しい置換不変学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-30T05:06:55Z)
• Optimization of a Hydrodynamic Computational Reservoir through Evolution [58.720142291102135]
  我々は,スタートアップが開発中の流体力学系のモデルと,計算貯水池としてインターフェースする。 我々は、進化探索アルゴリズムを用いて、読み出し時間と入力を波の振幅や周波数にどのようにマッピングするかを最適化した。 この貯水池システムに進化的手法を適用することで、手作業パラメータを用いた実装と比較して、XNORタスクの分離性が大幅に向上した。
  論文  参考訳（メタデータ） (2023-04-20T19:15:02Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。