論文の概要: HERO: History-Enriched Rollout Training for Long-Horizon Autoregressive Neural Operators

• arxiv url: http://arxiv.org/abs/2607.29135v1
• Date: Fri, 31 Jul 2026 08:05:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.65179
• Title: HERO: History-Enriched Rollout Training for Long-Horizon Autoregressive Neural Operators
• Title（参考訳）: HERO:長軸自己回帰型ニューラルオペレータの履歴強化型ロールアウトトレーニング
• Abstract要約: 自動回帰ロールアウトはすべての予測エラーを入力として返送するので、ローカルエラーは蓄積される。 既存のロールアウトトレーニング戦略は、トレーニング入力と自己生成状態のミスマッチを減らすが、彼らの監督は依然として、地道軌道からの絶対的な差のみを計測している。 本研究では,従来の絶対軌道監視をモデル最適化履歴から導いた相対的監督に拡張する履歴強化型ロールアウトトレーニング(HERO)を提案する。
• 参考スコア（独自算出の注目度）: 17.3214708475049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural operators provide fast surrogates for time-dependent partial differential equations (PDEs) by applying a learned evolution operator recursively to its own predictions, but this autoregressive rollout feeds every prediction error back as input, so local errors accumulate. Existing rollout-training strategies reduce the mismatch between training inputs and self-generated states, yet their supervision still measures only the absolute discrepancy from the ground-truth trajectory. Such supervision is therefore uninformative about whether the operator has overcome the long-horizon failure behaviors it exhibited earlier during optimization. We propose history-enriched rollout training (HERO), which augments conventional absolute trajectory supervision with relative supervision derived from the model's optimization history. HERO ranks detached candidate rollouts from a periodically refreshed lagged operator, the current model, and a perturbed input by rollout error, spectral discrepancy, energy drift, and error growth, and selects the strongest failure trajectory as reference. This reference enters a margin-based objective as a fixed comparison baseline, inducing a bounded, sample-dependent reweighting of the ground-truth rollout gradient rather than an independent gradient direction, which we further analyze theoretically. Experiments on nine PDE benchmarks with spectral and attention-based backbones show that HERO consistently improves long-horizon accuracy, stable rollout length, and out-of-distribution robustness at no inference-time cost. These results indicate that history-enriched relative supervision is effective for stabilizing long-horizon autoregressive prediction.
• Abstract（参考訳）: ニューラルネットワークは、学習した進化作用素を自身の予測に再帰的に適用することにより、時間依存偏微分方程式(PDE)に対する高速なサロゲートを提供するが、この自動回帰ロールアウトは全ての予測エラーを入力として返送するので、局所誤差は蓄積される。 既存のロールアウトトレーニング戦略は、トレーニング入力と自己生成状態のミスマッチを減らすが、彼らの監督は依然として、地道軌道からの絶対的な差のみを計測している。 したがって、そのような監督は、演算子が最適化中に提示した長い水平障害の挙動を克服したかどうかに関して非形式的である。 本研究では,従来の絶対軌道監視をモデル最適化履歴から導いた相対的監督に拡張する履歴強化型ロールアウトトレーニング(HERO)を提案する。 HEROは、周期的にリフレッシュされたラグ演算子、現在のモデル、およびロールアウト誤差、スペクトル差、エネルギードリフト、エラー成長による摂動入力から切り離された候補ロールアウトをランク付けし、参照として最強の故障軌跡を選択する。 この基準は、固定比較基準線としてマージンに基づく目的を入力し、独立した勾配方向ではなく、接地トラスロールアウト勾配の有界、標本依存的な再重み付けを誘導し、理論的にさらに解析する。 スペクトルおよびアテンションベースのバックボーンを用いた9つのPDEベンチマーク実験により、HEROは長期水平精度、安定したロールアウト長、およびアウト・オブ・ディストリビューションのロバスト性を推論コストなしで一貫して改善することが示された。 以上の結果から,歴史に富んだ相対監督が長期自己回帰予測の安定化に有効であることが示唆された。

関連論文リスト

• FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience [18.64380706071327]
  FlowBalanceは、完全応答上の正規化分布を学習する検証器による自己改善手法である。 オンラインの軌跡ごとに、同じポリシーの凍結されたトレーニングタイムビューは、特権付きコンテキストを使用してトークンレベルのログ確率ゲインを生成する。 分析では, 群内コントラスト保存, 最小値逆KL特性, 目標報酬の単調検証, 拒否応答に対する偽陽性自己誘導に対する正確な補正が確立された。
  論文  参考訳（メタデータ） (2026-09-03T00:47:11Z)
• LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
  フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T04:47:57Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Autoregression-Free Neural Operators for Time-Dependent PDEs [22.734418195465043]
  本研究では, PDEの時間発展を潜在空間にマッピングし, 内部の連続時間ベクトル場をモデル化するオートレグレスフリーニューラル演算子(AFNO)を提案する。 AFNOは長水平予測の安定性を向上し、ベースラインと比較してロールアウトエラーを一貫して低減することを示す。
  論文  参考訳（メタデータ） (2026-05-25T04:28:41Z)
• RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
  因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。 本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T17:59:30Z)
• Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
  FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。 FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。 本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-27T11:23:18Z)
• Temporal Imbalance of Positive and Negative Supervision in Class-Incremental Learning [10.054396813990481]
  CILは、しばしば新しいクラスに対する予測バイアスとして表される破滅的な忘れ込みという中核的な課題に直面している。 既存の手法は主に、このバイアスをタスク内のクラス不均衡に起因し、分類器ヘッドでの修正に焦点を当てている。 本稿では、時間的減衰カーネルを用いて、監督強度ベクトルを構築し、クロスエントロピー損失における負の監督を動的に強調する時間的調整損失(TAL)を提案する。
  論文  参考訳（メタデータ） (2026-03-02T01:57:52Z)
• Adaptive recurrent flow map operator learning for reaction diffusion dynamics [0.9137554315375919]
  我々は,適応的反復学習(DDOL-ART)を軽量な検証マイルストーンを持つ頑健な再帰戦略を用いて行う演算子学習器を開発した。 DDOL-ARTは長いロールアウトで安定なワンステップ演算子を学び、ゼロショットを強いシフトに一般化する。 物理ベースの数値損失演算子学習器(NLOL)よりも、マッチした設定で数倍高速である。
  論文  参考訳（メタデータ） (2026-02-10T07:33:13Z)
• Training Instabilities Induce Flatness Bias in Gradient Descent [6.628332915214955]
  現代のディープネットワークは、しばしば安定性のしきい値を超える最高のパフォーマンスを達成する。 トレーニングの不安定さはGDに暗黙の偏りを生じさせ,損失景観の平坦な領域にパラメータを誘導することを示した。 また、アダムの不安定性の回復は一般化をさらに改善することを示した。
  論文  参考訳（メタデータ） (2025-11-16T11:26:25Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。