論文の概要: Curiosity-Critic: Cumulative Prediction Error Improvement as a Tractable Intrinsic Reward for World Model Training
- arxiv url: http://arxiv.org/abs/2604.18701v1
- Date: Mon, 20 Apr 2026 18:01:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.40289
- Title: Curiosity-Critic: Cumulative Prediction Error Improvement as a Tractable Intrinsic Reward for World Model Training
- Title（参考訳）: 好奇心批判:世界モデルトレーニングにおけるトラクタブルな内在的リワードとしての累積予測誤差の改善
- Abstract要約: 局所予測エラーに基づく好奇心報酬は、世界モデルの累積予測誤差を考慮せずに現在の遷移に焦点を当てる。
本稿では,この累積目標の改善に報奨を与えるキュリオシティ・クライブを紹介する。
批判は、現在の予測エラーと現在の状態遷移のエラーベースラインとの差である、ステップごとのトラクタブルな本質的な形式に還元される。
- 参考スコア（独自算出の注目度）: 2.112639121757009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Local prediction-error-based curiosity rewards focus on the current transition without considering the world model's cumulative prediction error across all visited transitions. We introduce Curiosity-Critic, which grounds its intrinsic reward in the improvement of this cumulative objective, and show that it reduces to a tractable per-step form: the difference between the current prediction error and the asymptotic error baseline of the current state transition. We estimate this baseline online with a learned critic co-trained alongside the world model; regressing a single scalar, the critic converges well before the world model saturates, redirecting exploration toward learnable transitions without oracle knowledge of the noise floor. The reward is higher for learnable transitions and collapses toward the baseline for stochastic ones, effectively separating epistemic (reducible) from aleatoric (irreducible) prediction error online. Prior prediction-error curiosity formulations, from Schmidhuber (1991) to learned-feature-space variants, emerge as special cases corresponding to specific approximations of this baseline. Experiments on a stochastic grid world show that Curiosity-Critic outperforms prediction-error and visitation-count baselines in convergence speed and final world model accuracy.
- Abstract（参考訳）: 局所的予測エラーに基づく好奇心報酬は、訪問したすべての遷移における世界モデルの累積予測誤差を考慮せずに、現在の遷移に焦点を当てる。
本稿では,この累積目標の改善に本質的な報奨を基礎として,現在の予測誤差と現在の状態遷移の漸近誤差ベースラインとの差である,抽出可能なステップ単位の形式に還元されることを示す。
我々は、この基準線を、世界モデルと一緒に訓練された学習評論家とオンラインで推定し、単一のスカラーを回帰することで、世界モデルが飽和する以前に収束し、ノイズフロアに関するオラクルの知識のない学習可能な遷移に向けて探索をリダイレクトする。
この報酬は、学習可能な遷移と確率的遷移のベースラインへの崩壊に対して高く、オンラインでのアレラトリック(非可算)予測エラーと認識的(非可算)予測エラーを効果的に分離する。
Schmidhuber (1991) から学習空間の変種まで、事前の予測エラー好奇性定式化は、この基底線の特定の近似に対応する特別なケースとして現れる。
確率格子世界における実験により、Curiosity-Criticは収束速度と最終世界モデル精度において予測エラーおよび訪問数ベースラインを上回っていることが示された。
関連論文リスト
- Heteroscedastic Diffusion for Multi-Agent Trajectory Modeling [18.081497075992406]
マルチエージェント・トラジェクトリ・モデリングは伝統的に予測に重点を置いており、トラジェクトリ・コンプリートのようなより一般的なタスクを無視することが多い。
U2Diffineはトラジェクトリ補完を実現するために構築された統一拡散モデルである。
本手法は,4つの挑戦的スポーツデータセットの軌跡完了と予測において,最先端のソリューションよりも優れる。
論文 参考訳（メタデータ） (2026-05-11T15:26:14Z) - Rectify, Don't Regret: Avoiding Pitfalls of Differentiable Simulation in Trajectory Prediction [8.730908751307737]
現在のオープンループ軌道モデルは、小さな初期偏差が複雑なエラーを発生させるため、現実の自動運転に苦慮している。
シミュレーションステップ間のグラフを明示的に除去するために、分離された後退水平方向のロールアウトを導入する。
我々の手法はより堅牢な回復戦略をもたらし、目標衝突を最大33.24%削減する。
論文 参考訳（メタデータ） (2026-03-24T16:28:09Z) - Mitigating Error Accumulation in Continuous Navigation via Memory-Augmented Kalman Filtering [20.380488628232186]
無人航空機(UAV)にとって連続航法は重要である
既存のVision-Language Navigation (VLN) モデルはデッドレコンディングに従っており、次のウェイポイント予測のためにその位置を反復的に更新し、その後に完全な軌道を構築する。
本研究では,ナビゲーションを2つの補完的なプロセスに分解する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2026-01-30T05:03:08Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳（メタデータ） (2025-09-27T20:57:48Z) - Unified Uncertainty-Aware Diffusion for Multi-Agent Trajectory Modeling [13.993231805213354]
U2Diff(英語版)は、軌道の完備化を扱うために設計された、テキストを融合した拡散モデルである。
また、後処理にランクニューラルネットワークを導入し、生成されたモード毎にtextbferror の確率推定を可能にする。
本手法は,4つの挑戦的スポーツデータセットの軌跡完了と予測において,最先端のソリューションよりも優れる。
論文 参考訳（メタデータ） (2025-03-24T11:46:58Z) - Prediction-Powered Causal Inferences [59.98498488132307]
予測型因果推論(PPCI)に焦点をあてる
まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。
次に、実験間での十分な表現制約伝達の妥当性を導入する。
論文 参考訳（メタデータ） (2025-02-10T10:52:17Z) - Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction [5.38274042816001]
観測データでは、分布シフトは観測されていない共起因子によって駆動されることが多い。
このことは、観測データを用いた領域適応問題の研究を動機付けます。
学習した低次元部分空間を用いて、ターゲットとソースのリスクの間にほぼ理想的なギャップを生じさせるモデルを示す。
論文 参考訳（メタデータ） (2024-06-22T17:43:08Z) - Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳（メタデータ） (2024-02-13T11:25:20Z) - EANet: Expert Attention Network for Online Trajectory Prediction [5.600280639034753]
Expert Attention Networkは、軌道予測のための完全なオンライン学習フレームワークである。
我々は,ネットワーク層の深さの異なる重みを調整し,勾配問題によるモデル更新が遅いことを回避し,専門家の注意を喚起する。
さらに,シナリオ変化に敏感な短期動作トレンドカーネル関数を提案する。
論文 参考訳（メタデータ） (2023-09-11T07:09:40Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳（メタデータ） (2023-04-20T07:29:23Z) - Towards Out-of-Distribution Sequential Event Prediction: A Causal
Treatment [72.50906475214457]
シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。
実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。
文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-24T07:54:13Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - A heteroencoder architecture for prediction of failure locations in
porous metals using variational inference [1.2722697496405462]
多孔質金属張力試験片の故障箇所を予測するために,エンコーダ・デコーダ畳み込みニューラルネットワークを用いた。
故障箇所の予測の目的は、標本中のほとんどの材料が故障しないため、クラス不均衡の極端なケースを示す。
得られた予測分散は、任意の標本において最も失敗する可能性のある位置のランク付けに有効であることを示す。
論文 参考訳（メタデータ） (2022-01-31T20:26:53Z) - HYPER: Learned Hybrid Trajectory Prediction via Factored Inference and
Adaptive Sampling [27.194900145235007]
本稿では,汎用的で表現力豊かなハイブリッド予測フレームワークHYPERを紹介する。
トラヒックエージェントをハイブリッドな離散連続システムとしてモデル化することにより、我々のアプローチは時間とともに離散的な意図の変化を予測することができる。
我々は、Argoverseデータセット上でモデルをトレーニングし、検証し、その効果を包括的アブレーション研究と最先端モデルとの比較を通して実証する。
論文 参考訳（メタデータ） (2021-10-05T20:20:10Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Understanding and Mitigating the Tradeoff Between Robustness and
Accuracy [88.51943635427709]
逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。
拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
論文 参考訳（メタデータ） (2020-02-25T08:03:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。