論文の概要: Speed Limit for Information Acquisition in Stochastic Learning Dynamics

• arxiv url: http://arxiv.org/abs/2609.08219v1
• Date: Tue, 08 Sep 2026 04:02:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.572855
• Title: Speed Limit for Information Acquisition in Stochastic Learning Dynamics
• Title（参考訳）: 確率的学習ダイナミクスにおける情報獲得の速度制限
• Abstract要約: 訓練可能なパラメータが情報を取得することができる速度を制限したフィッシャー情報流速制限を導出する。 結果として生じる不平等は、情報フローをドリフトとノイズコントリビューションに分解する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks acquire internal representations through learning. In this work, we formulate stochastic gradient descent (SGD) as a Markovian stochastic process and derive a Fisher-information flow speed limit that bounds the rate at which trainable parameters can acquire information about latent variables in the data-generating process. The resulting inequality decomposes the information flow into drift and noise contributions, thereby quantifying the roles of deterministic learning forces and SGD-induced fluctuations from an information-theoretic perspective. We verify the bound in analytically tractable basis-function linear regression, where the information budget predicted by the bound reproduces the ordering and characteristic time scales with which different latent variables are encoded in the learned parameters. These results establish Fisher-information speed limits as a quantitative framework for diagnosing when and how different aspects of the data-generating mechanism are acquired during stochastic learning.
• Abstract（参考訳）: ニューラルネットワークは学習を通じて内部表現を取得する。 本研究では、マルコフ確率過程として確率勾配勾配(SGD)を定式化し、訓練可能なパラメータがデータ生成過程において潜伏変数に関する情報を取得することができる速度を制限したフィッシャー情報流速制限を導出する。 結果として得られる不等式は、情報フローをドリフトとノイズコントリビューションに分解し、情報理論の観点から決定論的学習力とSGDによる変動の役割を定量化する。 解析的に抽出可能な基底関数線形回帰において、境界によって予測される情報予算は、学習パラメータに異なる潜伏変数がエンコードされる順序と特性の時間スケールを再現する。 これらの結果は,確率学習において,データ生成機構の異なる側面がどう取得されるかを知るための定量的枠組みとして,フィッシャー情報量制限を確立した。

関連論文リスト

• Information theory and discriminative sampling for model discovery [2.47593085771929]
  我々は非線形力学(SINDy)をエミュレートするデータ駆動型フレームワークにおいて、Fisher Information Matrix(FIM)を活用する。 我々は、単一軌道と複数の初期条件の両方において、カオス系および非カオス系の情報パターンを可視化する。
  論文  参考訳（メタデータ） (2025-12-17T22:08:21Z)
• Neural Ordinary Differential Equations for Learning and Extrapolating System Dynamics Across Bifurcations [1.4316136514132225]
  本稿では,時系列データから直接基底となる分岐構造を復元するニューラル正規微分方程式について述べる。 我々は,非カオスからカオスへ遷移するロレンツ系,カオスから周期倍に移行するR"ossler系,グローバル分岐による崩壊を示す捕食者・捕食者モデルという3つのテストケースに対して,我々のアプローチを実証した。
  論文  参考訳（メタデータ） (2025-07-25T07:44:34Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Towards stable real-world equation discovery with assessing differentiating quality influence [52.2980614912553]
  一般的に用いられる有限差分法に代わる方法を提案する。 我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
  論文  参考訳（メタデータ） (2023-11-09T23:32:06Z)
• Ultimate limit on learning non-Markovian behavior: Fisher information rate and excess information [0.0]
  時系列データからプロセスの未知のパラメータを学習する基本的な限界に対処する。 観測時間とともに最適な推測がいかにスケールするかを示す、正確な閉形式表現を発見する。
  論文  参考訳（メタデータ） (2023-10-06T01:53:42Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Tracking changes using Kullback-Leibler divergence for the continual learning [2.0305676256390934]
  本稿では,多次元データストリームの確率分布の変化をモニタリングする新しい手法を提案する。 変化の速さの尺度として、人気のあるKulback-Leiblerの発散を分析する。 我々は,この指標を用いて,概念の漂流の発生を予測し,その性質を理解する方法を示す。
  論文  参考訳（メタデータ） (2022-10-10T17:30:41Z)
• A Causality-Based Learning Approach for Discovering the Underlying Dynamics of Complex Systems from Partial Observations with Stochastic Parameterization [1.2882319878552302]
  本稿では,部分的な観測を伴う複雑な乱流系の反復学習アルゴリズムを提案する。 モデル構造を識別し、観測されていない変数を復元し、パラメータを推定する。 数値実験により、新しいアルゴリズムはモデル構造を同定し、多くの複雑な非線形系に対して適切なパラメータ化を提供することに成功した。
  論文  参考訳（メタデータ） (2022-08-19T00:35:03Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Encoding Domain Information with Sparse Priors for Inferring Explainable Latent Variables [2.8935588665357077]
  説明可能な因子の推論を促進するために,スパース先行の因子潜在変数モデルであるspex-LVMを提案する。 spex-LVMは、既存の生物医療経路の知識を利用して、潜在因子にアノテート属性を自動的に割り当てる。 シミュレーションおよび実シングルセルRNA-seqデータセットの評価は、本モデルが本質的に説明可能な方法で関連構造を頑健に識別することを示す。
  論文  参考訳（メタデータ） (2021-07-08T10:19:32Z)
• Meta-learning using privileged information for dynamics [66.32254395574994]
  Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。 シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
  論文  参考訳（メタデータ） (2021-04-29T12:18:02Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。