論文の概要: Innovation Capacity of Dynamical Learning Systems

• arxiv url: http://arxiv.org/abs/2601.07257v1
• Date: Mon, 12 Jan 2026 06:51:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.251415
• Title: Innovation Capacity of Dynamical Learning Systems
• Title（参考訳）: 動的学習システムの革新能力
• Authors: Anthony M. Polloreno,
• Abstract要約: ノイズの多い物理貯水池では、古典的な情報処理能力$C_mathrmip$は、線形読み出しが入力履歴から測定可能なタスクをどれだけうまく実現できるかを定量化する。 入力フィルタに読み出しコンポーネントに割り当てられる合計容量である$C_mathrmi$を導入することで、'この不足容量'を説明する。
• 参考スコア（独自算出の注目度）: 0.03904937741613641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In noisy physical reservoirs, the classical information-processing capacity $C_{\mathrm{ip}}$ quantifies how well a linear readout can realize tasks measurable from the input history, yet $C_{\mathrm{ip}}$ can be far smaller than the observed rank of the readout covariance. We explain this ``missing capacity'' by introducing the innovation capacity $C_{\mathrm{i}}$, the total capacity allocated to readout components orthogonal to the input filtration (Doob innovations, including input-noise mixing). Using a basis-free Hilbert-space formulation of the predictable/innovation decomposition, we prove the conservation law $C_{\mathrm{ip}}+C_{\mathrm{i}}=\mathrm{rank}(Σ_{XX})\le d$, so predictable and innovation capacities exactly partition the rank of the observable readout dimension covariance $Σ_{XX}\in \mathbb{R}^{\rm d\times d}$. In linear-Gaussian Johnson-Nyquist regimes, $Σ_{XX}(T)=S+T N_0$, the split becomes a generalized-eigenvalue shrinkage rule and gives an explicit monotone tradeoff between temperature and predictable capacity. Geometrically, in whitened coordinates the predictable and innovation components correspond to complementary covariance ellipsoids, making $C_{\mathrm{i}}$ a trace-controlled innovation budget. A large $C_{\mathrm{i}}$ forces a high-dimensional innovation subspace with a variance floor and under mild mixing and anti-concentration assumptions this yields extensive innovation-block differential entropy and exponentially many distinguishable histories. Finally, we give an information-theoretic lower bound showing that learning the induced innovation-block law in total variation requires a number of samples that scales with the effective innovation dimension, supporting the generative utility of noisy physical reservoirs.
• Abstract（参考訳）: ノイズの多い物理貯水池では、古典的な情報処理能力$C_{\mathrm{ip}}$は、線形読み出しが入力履歴から計測可能なタスクをどれだけうまく実現できるかを定量化するが、$C_{\mathrm{ip}}$は読み出し共分散の観測ランクよりもはるかに小さくすることができる。 入力フィルタに直交する読み出し成分に割り当てられる総容量である$C_{\mathrm{i}}$(入力ノイズ混合を含むDoobのイノベーション)を導入することで、この 'missing capacity' を説明する。 予測可能/イノベーション分解の基底自由ヒルベルト空間の定式化を用いて、保存則 $C_{\mathrm{ip}}+C_{\mathrm{i}}=\mathrm{rank}(Σ_{XX})\le d$ を証明する。 線型ガウス・ジョンソン=ニキスト系において、$Σ_{XX}(T)=S+T N_0$ は一般化固有値収縮則となり、温度と予測可能容量の間の明示的なモノトントレードオフを与える。 幾何学的には、ホワイト付き座標では、予測可能かつ革新的成分は相補的な共分散楕円体に対応し、$C_{\mathrm{i}}$はトレース制御されたイノベーション予算となる。 C_{\mathrm{i}}$の大きな$C_{\mathrm{i}}$は、分散フロアを持つ高次元のイノベーション部分空間を、穏やかな混合と反集中の仮定の下で強制する。 最後に, 実効的なイノベーションの次元に合わせてスケールするサンプルを多数必要としており, ノイズの多い物理貯水池の創出的有用性を支持することを示す情報理論の下限を提示する。

関連論文リスト

• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Learning quadratic neural networks in high dimensions: SGD dynamics and scaling laws [21.18373933718468]
  高次元状態における二次活性化関数を持つ2層ニューラルネットワークの勾配に基づくトレーニングの最適化とサンプル複雑性について検討する。 本稿では,特徴学習体制における動態の急激な解析を行い,人口制限と有限サンプルの離散化について述べる。
  論文  参考訳（メタデータ） (2025-08-05T17:57:56Z)
• The Generative Leap: Sharp Sample Complexity for Efficiently Learning Gaussian Multi-Index Models [71.5283441529015]
  この研究において、ラベルは(ガウス)$d$-次元入力にのみ依存し、低次元$r = O_d(1)$部分空間への射影を通して得られる。 生成的跳躍指数 $kstar$, [Damian et al.'24] から生成的指数の自然拡張をマルチインデックス設定に導入する。
  論文  参考訳（メタデータ） (2025-06-05T18:34:56Z)
• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系の一般設定におけるオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、$mathcalO(N epsilon2 + Mathrmln(m(epsilon)/epsilon2)$のポリシーを後悔する。 力学がコンパクトで実数値のパラメータ集合によってパラメータ化される特別な場合、$mathcalO(sqrt)のポリシー後悔を証明する。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• On Reductions and Representations of Learning Problems in Euclidean Spaces [15.07787640047213]
  多くの実用的な予測アルゴリズムはユークリッド空間における入力を表現し、離散的な0/1分類損失を真の自明な代理損失に置き換える。 我々は古典的トポロジカルアプローチと凸性を考慮したボルスク・ウラム理論の一般化を開発する。 また、ランダム性を利用して、より小さな次元で表現できる自然な分類タスクも提示する。
  論文  参考訳（メタデータ） (2024-11-16T12:09:37Z)
• In-context Learning for Mixture of Linear Regressions: Existence, Generalization and Training Dynamics [34.458004744956334]
  高い確率で$mathcalO(sqrtd/n)$の予測誤差を達成できる変換器が存在することを証明した。 また, 1 つの線形自己アテンション層を持つ変圧器のトレーニング力学を解析し, 適切なパラメータで, 人口平均平方損失に対する勾配流の最適化が大域的最適に収束することを示した。
  論文  参考訳（メタデータ） (2024-10-18T05:28:47Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference [8.077736581030264]
  本稿では,ガウス過程(mathcalGP$)回帰に対する新しい帰納的変分推定法を提案する。 従来の推論用自由形式変動型族とは異なり、コアセットベースの変動型 $mathcalGP$ (CVGP) は $mathcalGP$ pre と (重み付き) データの確率で定義される。
  論文  参考訳（メタデータ） (2023-11-02T17:22:22Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。