論文の概要: Propensity Straight-Through Gradients for Discrete Stochastic Systems

• arxiv url: http://arxiv.org/abs/2608.25631v1
• Date: Wed, 26 Aug 2026 10:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.687422
• Title: Propensity Straight-Through Gradients for Discrete Stochastic Systems
• Title（参考訳）: 離散確率系に対する比重直線スルー勾配
• Abstract要約: 我々は、アフィン状態の更新を利用して、正確に1段階の条件平均感度を得る。 イベント間で構成される1段階の感度は、正確に多段階の感度から逸脱する可能性があることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous-time Markov chains (CTMCs) provide the backbone for modeling discrete stochastic dynamics across applied, physical, and biological sciences. Their integration with modern gradient-based machine learning, however, is limited by the hard categorical event selection intrinsic to Gillespie-type simulation algorithms. We exploit the affine state update to obtain the exact one-step conditional-mean sensitivity by differentiating normalized reaction propensities. We pair this backward rule with exact forward trajectories to define the propensity straight-through (PST) estimator. At the trajectory level, we show that one-step sensitivities composed across events can depart from the exact multistep sensitivity. We derive the resulting per-step discrepancy in closed form and prove that it vanishes identically for affine downstream dependence. PST matches the accuracy of Gumbel-Softmax straight-through across all benchmarks: reversible dimerization (0.06% error), a genetic oscillator (1.7% error), a 50-task repressilator suite (0.17% median error), and patch-clamp ion-channel recordings ($R^2$ = 0.988). Under matched settings, PST converges 3.0-fold faster on the oscillator and 2.1-fold faster on the ion channel. At deep-learning scale, PST trains a 203,796-parameter stochastic reaction network with hard sampling, reaching 98.22% MNIST digit classification accuracy. By differentiating an exact conditional mean rather than a relaxed sample, PST offers a temperature- and Gumbel-free path to scalable gradient-based learning through exact stochastic trajectories.
• Abstract（参考訳）: 連続時間マルコフ連鎖(CTMC)は、応用科学、物理科学、生物科学にまたがる離散確率力学をモデル化するためのバックボーンを提供する。 しかし、現代の勾配に基づく機械学習との統合は、Gilespie型シミュレーションアルゴリズムに固有のハードカテゴリのイベント選択によって制限されている。 我々はアフィン状態の更新を利用して、正規化反応の正当性を識別することで、正確に1段階の条件-平均感度を得る。 我々は、この後方規則を正確な前方軌道と組み合わせて、PST (propensity straight-through) 推定器を定義する。 軌跡レベルでは,事象にまたがる1段階の感度は,正確に多段階の感度から逸脱できることを示す。 得られた段差を閉じた形で導出し,アフィン下流依存性に対して同一に消滅することが証明された。 PSTは、可逆二量化(0.06%の誤差)、遺伝的発振器(1.7%の誤差)、50タスク圧縮装置スイート(0.17%の中央値の誤差)、パッチクランプイオンチャネル記録(R^2$ = 0.988)など、すべてのベンチマークでGumbel-Softmaxの精度と一致している。 一致した設定では、PSTは発振器で3.0倍、イオンチャネルで2.1倍速く収束する。 ディープラーニングスケールでは、PSTは203,796パラメータの確率的反応ネットワークをハードサンプリングで訓練し、98.22%のMNIST桁の分類精度に達した。 緩和されたサンプルではなく正確な条件平均を微分することにより、PSTは、正確な確率軌道を通してスケーラブルな勾配に基づく学習への温度とガンベルのない経路を提供する。

関連論文リスト

• SPARC: Single-Pass Scaling for Motion Forecasting with Conformal Bayesian Last Layers [1.4452289368758382]
  シングルパス適応リスク(英: Single-Pass Adaptive Risk)は、人間の動き予測器に対する構造的、校正的、効率的な不確実性推定である。 決定論的バックボーンは将来の平均を予測し、共役ベイズ最後の層は時間領域の特徴レバレッジを解析的地平線スケールに変換する。 NLLと組み合わせたMPJPE+NLLの基準では、競争点の精度と効率的な校正管を維持している。
  論文  参考訳（メタデータ） (2026-08-21T07:20:22Z)
• Beta-Scheduling: Momentum from Critical Damping as a Diagnostic and Correction Tool for Neural Network Training [0.0]
  標準ニューラルネットワークトレーニングでは、1964年までの規則である定数運動量(典型的には0.9)を用いており、その最適性について理論的に限定されている。 このベータスケジュールは、既存の学習率スケジュールを超えて、ゼロのフリーパラメータを必要とする。 ResNet-18/CIFAR-10では、ベータスケジューリングにより、一定の運動量よりも90%の精度で1.9倍の収束が得られる。
  論文  参考訳（メタデータ） (2026-03-30T18:53:03Z)
• TC-Padé: Trajectory-Consistent Padé Approximation for Diffusion Acceleration [46.613183870351584]
  Tray-Consistent Padé近似はテイラー法よりも正確に遷移挙動を捉える。 TC-PadéはFLUX.1-devで2.88倍、Wan2.1で1.72倍、FID、Aesthetic CLIP、V-2.0で高い品質を維持している。
  論文  参考訳（メタデータ） (2026-03-03T12:50:26Z)
• Exact Discrete Stochastic Simulation with Deep-Learning-Scale Gradient Optimization [0.0]
  連続時間マルコフ連鎖(CTMC)の厳密なシミュレーションは、離散性とノイズ駆動系の振る舞いにおいて不可欠であるが、ジルズピー型アルゴリズムの厳密なカテゴリー選択は勾配に基づく学習を妨げている。 我々は, この制約を, 後方微分からフォワードシミュレーションを分離することにより排除し, 厳密な分類的サンプリングにより, 連続的に並列なGumbel-Softmaxストレートスルーサロゲートを伝播する正確な軌道と勾配を生成する。 本研究により, システム生物学, 化学動力学, 物理, およびCTMCが支配する領域における高次元パラメータ推論と逆設計が可能となった。
  論文  参考訳（メタデータ） (2026-02-23T12:29:43Z)
• Controllable Probabilistic Forecasting with Stochastic Decomposition Layers [1.3995263206621]
  本稿では、決定論的機械学習気象モデルをアンサンブルシステムに変換するための分解層(SDL)を提案する。 SDLは3つのデコーダスケールでの学習摂動を、潜在駆動変調、画素ごとのノイズ、チャネルスケーリングを通じて適用する。 転送学習を通じてWXFormerに適用する場合、SDLはベースラインモデルをトレーニングするために必要な計算コストの2%未満を必要とする。
  論文  参考訳（メタデータ） (2025-12-21T17:10:00Z)
• SCott: Accelerating Diffusion Models with Stochastic Consistency Distillation [74.32186107058382]
  本稿では,テキスト・画像の高速生成を実現するために,SCott(Consistency Distillation)を提案する。 SCottは、訓練済みの教師モデルの通常の微分方程式解法に基づくサンプリングプロセスを学生に蒸留する。 安定拡散V1.5教師によるMSCOCO-2017 5Kデータセットでは、SCottは2ステップのサンプリングステップを持つ21.9のFIDを達成し、1ステップのInstaFlow (23.4)と4ステップのUFOGen (22.1)を上回ります。
  論文  参考訳（メタデータ） (2024-03-03T13:08:32Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• On Convergence-Diagnostic based Step Sizes for Stochastic Gradient Descent [24.042107117994046]
  定常的なステップサイズのグラディエントDescentは2つの位相を示す: 反復する過渡的な位相は最適に向かって急速に進行し、続いて、反復する位相は最適点の周りで振動する。 我々は, この遷移を効率的に検出し, ステップサイズを適切に減少させることで, 収束速度が速くなることを示した。
  論文  参考訳（メタデータ） (2020-07-01T14:58:01Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。