論文の概要: Large Distant Gradients Need Not Be Reliable: reliability-weighted credit assignment for long-horizon autoregressive forecasting

• arxiv url: http://arxiv.org/abs/2609.12890v1
• Date: Fri, 11 Sep 2026 14:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.771319
• Title: Large Distant Gradients Need Not Be Reliable: reliability-weighted credit assignment for long-horizon autoregressive forecasting
• Title（参考訳）: 大きな距離勾配は信頼できない:長期自己回帰予測のための信頼度重み付き信用割当
• Abstract要約: 内部デュアル・ウィナー・ルーティング(Internal-DW)は、全前方ロールアウトと全地平線損失を保存する、原則として後方のみの介入である。 勾配信号-雑音比 (SNR) が知られている制御系において, SNRが低下しても, 遠方勾配が増大することを示す。
• 参考スコア（独自算出の注目度）: 20.673168728815018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In autoregressive forecasting, long prediction rollouts provide distant supervision, but backpropagation through time (BPTT) carries gradients from those losses through many autoregressive steps. Repeated Jacobian products can make distant gradients dominate the update while amplifying predictable signal and unpredictable noise together; a large distant gradient therefore need not carry reliable learning signal. Motivated by this observation, we introduce Internal Dual-Wiener routing (Internal-DW), a principled backward-only intervention that preserves the full forward rollout and all horizon losses while reliability-weighting internal gradient routes. At each residual block, we derive bounded Wiener gains for the identity and nonlinear routes that balance preserving predictable learning signal against suppressing unpredictable variation, and estimate them from route-level gradient statistics and an explicit noise model. In a controlled system with known gradient signal-to-noise ratio (SNR), we show that distant gradients can grow even as their SNR falls, and that Internal-DW reduces held-out error in recovering predictable gradient signals and improves forecasting. On four history-dominated, weak-drive testbeds, Internal-DW reduces forecast error by 5.2%-13.8% relative to full BPTT, outperforms gradient clipping and Jacobian regularization on all four, and outperforms validation-selected truncated BPTT (TBPTT) on three. It also extends or preserves the fitted optimal training-horizon range across these four testbeds. Across the full benchmark suite, the current Internal-DW estimator has a clear applicability boundary: its benefit diminishes or reverses when usable history is limited or when the selected sampler fails to represent dominant drive-dependent variation. The results show that retaining long-horizon supervision does not require trusting every backward contribution equally.
• Abstract（参考訳）: 自己回帰予測では、長期にわたる予測ロールアウトは、遠方からの監視を提供するが、時間によるバックプロパゲーション(BPTT)は、これらの損失から多くの自己回帰ステップを通じて勾配を運んでいる。 繰り返しジャコビアン積は、予測可能な信号と予測不可能な雑音を同時に増幅しながら、その更新を遠くの勾配で支配することができる。 本研究は, 内部勾配経路の信頼性向上を図りつつ, 全前方ロールアウトと全地平線損失を保ちながら, 原則として後方方向のみの介入を行う内部デュアルウィナールーティング(Internal-DW)を導入する。 各残差ブロックにおいて、予測不可能な変動を抑制するために予測可能な学習信号を保存するための同一性と非線形経路の有界Wienerゲインを導出し、ルートレベルの勾配統計と明示的雑音モデルからそれらを推定する。 本研究では,SNRが低下しても遠方勾配が増大し,予測可能な勾配信号の復元におけるホールドアウト誤差が低減され,予測精度が向上することを示す。 歴史に支配された4つの弱い駆動テストベッドでは、Internal-DWは完全なBPTTと比較して予測誤差を5.2%-13.8%削減し、勾配クリッピングとヤコビ正規化を4つすべてで上回り、検証選択されたTBTT(TBPTT)を3つで上回ります。 また、これら4つのテストベッドにまたがる最適な訓練-水平範囲を拡張または維持する。 完全なベンチマークスイート全体にわたって、現在の内部DW推定器には明確な適用性境界がある。その利点は、使用履歴が制限されたり、選択されたサンプルが支配的なドライブ依存の変動を表現できなかったりした場合に減少または反転する。 その結果、長期の監督を維持するためには、すべての後方貢献を平等に信頼する必要はなくなることがわかった。

関連論文リスト

• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• Latent Reward Registers for Diffusion Preference Alignment [46.49072106092868]
  本稿では,中間雑音の遅延から端末の好みを推定するメカニズムであるLatent Reward Registersを提案する。 この独立した読み出し機構は、発電機の隠された状態や速度場を変えることなく、潜伏した報酬証拠を抽出する。 トレーニングのために、Reward-Gradient On-Policy Distillation (RG-OPD) は、標準的な政策勾配の計算的に高価なロールアウトを回避し、報酬誘導された更新をオンライン軌道に沿って蒸留する。 推論のためには、Reward-Guided Sampling (RGS) はパラメータ更新なしで大小マッチングされた報酬勾配を経由する。
  論文  参考訳（メタデータ） (2026-08-04T17:00:52Z)
• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• HERO: History-Enriched Rollout Training for Long-Horizon Autoregressive Neural Operators [17.3214708475049]
  自動回帰ロールアウトはすべての予測エラーを入力として返送するので、ローカルエラーは蓄積される。 既存のロールアウトトレーニング戦略は、トレーニング入力と自己生成状態のミスマッチを減らすが、彼らの監督は依然として、地道軌道からの絶対的な差のみを計測している。 本研究では,従来の絶対軌道監視をモデル最適化履歴から導いた相対的監督に拡張する履歴強化型ロールアウトトレーニング(HERO)を提案する。
  論文  参考訳（メタデータ） (2026-07-31T08:05:46Z)
• Observer-Assisted Relative-Velocity Compensation with LPV-$H_\infty$ Robust Correction for 3D Trajectory Tracking of Underactuated Non-Minimum-Phase AUVs under Ocean Currents [0.0]
  本稿では,魚雷型非作動型AUVの3次元軌道追跡のためのオブザーバ支援制御アーキテクチャを開発する。 3段階の状態電流オブザーバは、支配的な電流拒絶の非線形フィードフォワード項に対する相対速度推定を提供する。 特異摂動解析は、組込みLPVモデルにおける局所的な一様最適有界性を証明する。
  論文  参考訳（メタデータ） (2026-07-26T13:35:06Z)
• SATB-VR: Training Few-Step Video Restoration Diffusion Model using SNR-Aware Trajectory Blending [55.764018145256216]
  本稿では,補助予測器を介してデノナイジングプロセスを開始する数ステップのパラダイムであるSATB-VRを提案する。 我々は,SATB-VRが,合成,実世界,AIGCベンチマークにおける既存のアプローチに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2026-06-27T01:32:16Z)
• When Do Autoregressive Sequence Models Forecast Physical Wavefields? A Controlled Study on Synthetic Seismograms [43.8784307709823]
  物理信号の長距離自己回帰予測は誤差蓄積によって制限される。 物理的に構造化されたテストベッドとして,合成3成分地震計を用いて,このようなロールアウトが安定であるかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-09T13:46:14Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Comparative reversal learning reveals rigid adaptation in LLMs under non-stationary uncertainty [1.5456780324506676]
  非定常環境では、エージェントはイベントが変化するときに事前に学習されたアクション値を変更する必要がある。 大規模言語モデル(LLM)を3つの潜在状態を持つ2オプション確率確率逆学習タスクにおける逐次決定ポリシーとして扱い、タイムアウトまたはタイムアウトのいずれかによって引き起こされるイベントを切り替える。 本稿では,決定論的固定遷移サイクルとボラティリティを増大させる基準ランダムスケジュールを比較し,DeepSeek-V3.2,Gemini-3,GPT-5.2を人間の行動基準として評価する。
  論文  参考訳（メタデータ） (2026-04-05T16:53:23Z)
• A Unified Noise-Curvature View of Loss of Trainability [8.602734307457387]
  継続的学習におけるトレーニング容易性(LoT)の喪失は、タスクが進化するにつれて、ステップが改善されなくなります。 バッチサイズ対応勾配雑音境界と曲率ボラティリティ制御境界の2つの相補的基準を導入する。 このしきい値を用いることで、各レイヤを安全な限界以下に維持する、単純なレイヤごとのスケジューラを構築します。
  論文  参考訳（メタデータ） (2025-09-24T02:11:13Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。