論文の概要: Entropy Production in Machine Learning Under Fokker-Planck Probability Flow

• arxiv url: http://arxiv.org/abs/2601.00554v1
• Date: Fri, 02 Jan 2026 04:01:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.511916
• Title: Entropy Production in Machine Learning Under Fokker-Planck Probability Flow
• Title（参考訳）: Fokker-Planck確率流下での機械学習におけるエントロピー生成
• Authors: Lennon Shikhman,
• Abstract要約: 非平衡コストダイナミクスに基づくエントロピーに基づく再学習フレームワークを提案する。 エントロピートリガーを用いたリトレーニングにより,高周波リトレーニングに匹敵する予測性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models deployed in nonstationary environments experience performance degradation due to data drift. While many drift detection heuristics exist, most lack a principled dynamical interpretation and provide limited guidance on how retraining frequency should be balanced against operational cost. In this work, we propose an entropy--based retraining framework grounded in nonequilibrium stochastic dynamics. Modeling deployment--time data drift as probability flow governed by a Fokker--Planck equation, we quantify model--data mismatch using a time--evolving Kullback--Leibler divergence. We show that the time derivative of this mismatch admits an entropy--balance decomposition featuring a nonnegative entropy production term driven by probability currents. This interpretation motivates entropy--triggered retraining as a label--free intervention strategy that responds to accumulated mismatch rather than delayed performance collapse. In a controlled nonstationary classification experiment, entropy--triggered retraining achieves predictive performance comparable to high--frequency retraining while reducing retraining events by an order of magnitude relative to daily and label--based policies.
• Abstract（参考訳）: 非定常環境にデプロイされた機械学習モデルは、データドリフトによるパフォーマンス劣化を経験する。 多くのドリフト検出ヒューリスティックは存在するが、ほとんどの場合、原理的な動的解釈が欠如しており、再訓練周波数が運用コストに対してどのようにバランスをとるべきかについての限定的なガイダンスを提供している。 本研究では,非平衡確率力学に基づくエントロピーに基づくリトレーニングフレームワークを提案する。Fokker-Planck方程式によって制御される確率フローとして,展開時データドリフトをモデル化し,時間-進化するKullback-Leibler分散を用いて,モデル-データミスマッチを定量化する。 このミスマッチの時間微分は、確率電流によって駆動される非負のエントロピー生成項を特徴とするエントロピーバランス分解を許容することを示す。この解釈は、エントロピートリガード・リトレーニングを、遅延性能の崩壊ではなく、蓄積ミスマッチに応答するラベルフリー介入戦略として動機づけるものであり、制御された非定常分類実験では、エントロピートリガード・リトレーニングは、高周波リトレーニングに匹敵する予測性能を達成し、日次およびラベルベースのポリシーに比較してイベントリトレーニングの順序を減少させる。

関連論文リスト

• Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse [3.533187668612022]
  本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropyReser Bregman Projection- ERBPを提案する。 我々の理論は崩壊に必要な条件、(ii)非言語エントロピーフロアを保証する十分な条件、(iii)サンプルサイズに依存する閉形式率をもたらす。
  論文  参考訳（メタデータ） (2025-12-16T19:50:03Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• ResCP: Reservoir Conformal Prediction for Time Series Forecasting [39.81023599249223]
  コンフォーマル予測は、交換可能なデータに対して、分散のない予測間隔を構築するための強力なフレームワークを提供する。 本稿では,Reservoir Conformal Prediction (ResCP)を提案する。
  論文  参考訳（メタデータ） (2025-10-06T17:37:44Z)
• Thermalizer: Stable autoregressive neural emulation of spatiotemporal chaos [32.51861730498945]
  本研究では, 自己回帰エミュレータのロールアウトを安定化するために, 無変量尺度のスコアを暗黙的に推定できることを示す。 本研究では,このモデルを用いて自動回帰ロールアウトの安定化を図ることができることを示す。
  論文  参考訳（メタデータ） (2025-03-24T14:38:33Z)
• Error-quantified Conformal Inference for Time Series [55.11926160774831]
  時系列予測の不確かさの定量化は、時系列データの時間的依存と分布シフトのために困難である。 量子化損失関数をスムースにすることで,iError-quantified Conformal Inference (ECI)を提案する。 ECIは有効な誤発見制御と、他のベースラインよりも厳密な予測セットを出力することができる。
  論文  参考訳（メタデータ） (2025-02-02T15:02:36Z)
• Probabilistic Forecasting with Stochastic Interpolants and Föllmer Processes [18.344934424278048]
  生成モデルに基づく動的システムの確率的予測のためのフレームワークを提案する。 このSDEのドリフトと拡散係数は訓練後に調整できることを示し、推定誤差の影響を最小限に抑える特定の選択がF"ollmerプロセスを与えることを示した。
  論文  参考訳（メタデータ） (2024-03-20T16:33:06Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。