論文の概要: Truncated backpropagation through time induces a two-sided gradient turnpike property

• arxiv url: http://arxiv.org/abs/2611.07415v1
• Date: Thu, 05 Nov 2026 04:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.544123
• Title: Truncated backpropagation through time induces a two-sided gradient turnpike property
• Title（参考訳）: 時間的縮小された逆伝播は、両側勾配のターンパイク特性を誘導する
• Abstract要約: 本研究では,再帰的モデルの計算負担を軽減するために,時間的制約の少ない時間的文脈に勾配計算を限定することにより,再帰的モデルの計算負担を軽減することを示す。 我々は、平均更新勾配のバウンダリを導出し、勾配のアライメントと近似フルコンテキストの定常性を保証する。 Wiener-Hammersteinベンチマークの数値実験では、過去と将来の文脈の役割と予測性能と計算コストのトレードオフが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Truncated backpropagation through time reduces the computational burden of training recurrent models by restricting gradient computations to shorter temporal contexts. This induces two distinct boundary effects: missing past information perturbs the forward state evolution, while truncating the backward recursion omits future information. This motivates decoupling the interval over which gradient contributions are averaged for the parameter update from the surrounding temporal context over which they are computed. Under exponential decay of the state-transition Jacobians and mild regularity conditions, this leads to a two-sided gradient turnpike property: the error between truncated- and full-context gradient contributions decays exponentially with the distance from both context boundaries. We derive bounds for the averaged update gradient, yielding guarantees on gradient alignment and approximate full-context stationarity; under unbiased interval sampling and a Polyak-Lojasiewicz condition, these further imply a bound on the resulting optimality gap. Numerical experiments on the Wiener-Hammerstein benchmark illustrate the role of past and future context and the trade-off between predictive performance and computational cost.
• Abstract（参考訳）: 時間による縮小バックプロパゲーションは、勾配計算を短い時間的文脈に制限することにより、繰り返しモデルのトレーニングの計算負担を軽減する。 これは2つの異なる境界効果を誘発する: 過去の情報の欠如は前方状態の進化を妨害し、後方再帰は将来の情報を省略する。 このことは、パラメータ更新のための勾配寄与が平均される間隔を、それらが計算される周囲の時間的コンテキストから切り離す動機である。 状態遷移ヤコビアンと緩やかな規則性条件の指数関数的崩壊の下で、これは二辺勾配のターンパイク性(英語版)をもたらす: truncated- と full-context の勾配の寄与の間の誤差は、両方のコンテキスト境界からの距離と指数関数的に崩壊する。 平均更新勾配のバウンダリを導出し、勾配のアライメントと近似フルコンテクストの定常性を保証し、アンバイアスド間隔サンプリングとポリアック・ロジャシエヴィチ条件の下では、結果の最適性ギャップにバウンダリを与える。 Wiener-Hammersteinベンチマークの数値実験では、過去と将来の文脈の役割と予測性能と計算コストのトレードオフが示されている。

関連論文リスト

• PosePlaner: Denoising Any Feed-Forward Pose Predictor from Pairwise Planar Geometry [57.19469836839409]
  最近の多視点変換器は、2つのビューから多くのビューと長いシーケンスへのトレーニングデータとモデルキャパシティのスケーリングにより、高度な3次元再構成を実現している。 我々はPosePlanerを提案し、このギャップを埋めるために、古典的な対応とフローマッチングによるポーズの結合を復活させることにより、このギャップを埋める。 提案手法は2視点データに基づいて効率よく訓練されるが,n視点ポーズ推定器をリトレーニングなしでストリーミングするための周期的精錬器として機能する。
  論文  参考訳（メタデータ） (2026-10-26T04:55:36Z)
• Finite-Sample Approximation of Hessian-Guided Perturbed Wasserstein Gradient Flows [52.91692927889604]
  累積曲率の明示的条件を満たす基準経路に対する高確率事象に対する目標値追跡境界を証明した。 また、分散余剰コサインモデル回復の条件を検証した結果、確率の増大が保証される。
  論文  参考訳（メタデータ） (2026-10-07T15:13:56Z)
• Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
  バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。 自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
  論文  参考訳（メタデータ） (2026-02-13T04:05:03Z)
• Forecasting as Rendering: A 2D Gaussian Splatting Framework for Time Series Forecasting [79.37674445572462]
  時系列予測(TSF)は、周期内変動と周期間トレンドの複雑な絡み合いのため、依然として困難な問題である。 形状変化テンソルを静止画像として扱うと、トポロジカルミスマッチが発生する。 均一な固定サイズの表現に依存することは、モデリング能力を非効率に割り当てる。 TimeGSは、予測パラダイムをレグレッションから2D生成レンダリングに根本的にシフトする、新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-02-10T14:13:36Z)
• Predictable Gradient Manifolds in Deep Learning: Temporal Path-Length and Intrinsic Rank as a Complexity Regime [0.0]
  経験的に、訓練軌道に沿って、しばしば時間的に予測可能であり、低次元の部分空間内で進化する。 我々は、予測可能な次元勾配の測定可能なフレームワークを通して、この観測を定式化する。 本稿では,適応勾配,ランク認識追跡,および実トレーニング実行の計測可能な特性に基づく予測に基づく設計について紹介する。
  論文  参考訳（メタデータ） (2026-01-07T11:23:55Z)
• Closed-Form Last Layer Optimization [72.49151473937319]
  正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。 これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
  論文  参考訳（メタデータ） (2025-10-06T09:14:39Z)
• Convergence Rate in Nonlinear Two-Time-Scale Stochastic Approximation with State (Time)-Dependence [6.160559095588513]
  Lyapunov 関数はどちらの場合も収束率を示す。 状態雑音パラメータがその極限値に完全に近づくと、リャプノフ函数は指数収束率を達成する。
  論文  参考訳（メタデータ） (2025-09-14T02:06:15Z)
• Refining Amortized Posterior Approximations using Gradient-Based Summary Statistics [0.9176056742068814]
  逆問題の文脈における後部分布の補正近似を改善するための反復的枠組みを提案する。 そこで我々は,本手法をスタイリング問題に適用して制御条件で検証し,改良された後部近似を各繰り返しで観察する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:19Z)
• On the Statistical Benefits of Temporal Difference Learning [6.408072565019087]
  アクションのデータセットと結果の長期的な報酬が与えられた場合、直接推定アプローチは値関数に適合する。 直感的な逆軌道プーリング係数は, 平均二乗誤差の減少率を完全に特徴付けることを示す。 2つの状態における値対号差の推定が劇的に改善できることを実証する。
  論文  参考訳（メタデータ） (2023-01-30T21:02:25Z)
• Stochastic Optimization with Laggard Data Pipelines [65.20044914532221]
  共通最適化手法の「データ抽出」拡張は同期手法よりも優れた性能を示すことを示す。 具体的には、ミニバッチによる凸最適化において、データエコーは、最適統計率を維持しながら収束率の曲率に支配される部分の高速化をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。