Fugu-MT 論文翻訳(概要): Multi-Horizon Future Discovery for Physics-Informed Exploration

論文の概要: Multi-Horizon Future Discovery for Physics-Informed Exploration

arxiv url: http://arxiv.org/abs/2610.35468v1
Date: Mon, 26 Oct 2026 14:01:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 22:27:14.019438
Title: Multi-Horizon Future Discovery for Physics-Informed Exploration
Title（参考訳）: 物理インフォームド探査のためのマルチ水平未来探査
Abstract要約: Hamiltonian Temporal Contrastive Curiosityは、マルチ水平時間表現学習とハミルトン位相空間構造を組み合わせたフレームワークである。地平線条件付きコントラスト批評家は、同じエピソード内でサンプリングされた将来の状態ペアから時間的関係を学習する。ポジティブペア表現間の距離は本質的な報酬として使用され、エージェントは学習された表現の中で十分に整理されていない未来を探索するように促される。
参考スコア（独自算出の注目度）: 14.14060154402141
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Exploration in physical control environments requires agents to identify actions whose consequences reveal previously unexplored aspects of the underlying dynamics. However, many intrinsic motivation methods rely on immediate prediction errors, state novelty, or local physical changes, which may overlook informative outcomes that emerge across extended temporal horizons. We investigate whether learning structured representations of reachable futures can provide a more effective basis for exploration. To this end, we introduce Hamiltonian Temporal Contrastive Curiosity (HTC$^2$), a framework that combines multi-horizon temporal representation learning with Hamiltonian phase-space structure. A horizon-conditioned contrastive critic learns temporal relationships from future-state pairs sampled within the same episode. The distance between positive-pair representations is then used as an intrinsic reward, encouraging the agent to explore futures that remain insufficiently organized in the learned representation. To incorporate information about physical dynamics, we additionally modulate this reward using bounded multi-step Hamiltonian variation, rather than directly rewarding changes in the Hamiltonian itself. We integrate HTC$^2$ with both Soft Actor-Critic (SAC) and Proximal Policy Optimization (PPO), and evaluate it across six DeepMind Control Suite tasks. Comparisons with ICM, RIDE, E3B, Plan2Explore, and a single-step Hamiltonian curiosity baseline are complemented by state-coverage evaluations, component ablations, and phase-space diagnostics to characterize the contributions of temporal learning and physical structure to exploratory behavior.
Abstract（参考訳）: 物理的制御環境での探索では、エージェントは、基礎となる力学の未解明の側面を明らかにするアクションを識別する必要がある。しかし、多くの本質的な動機づけ手法は、即時予測エラー、状態の新規性、あるいは局所的な物理的変化に依存しており、時間的地平線を越えて現れる情報的な結果を見落としている可能性がある。到達可能な未来における構造化表現の学習が、より効果的な探索基盤となるかどうかを考察する。この目的のために,マルチ水平時間表現学習とハミルトン位相空間構造を組み合わせたフレームワークであるHamilenian Temporal Contrastive Curiosity (HTC$^2$)を紹介する。地平線条件付きコントラスト批評家は、同じエピソード内でサンプリングされた将来の状態ペアから時間的関係を学習する。ポジティブペア表現間の距離は本質的な報酬として使用され、エージェントは学習された表現の中で十分に整理されていない未来を探索するように促される。物理力学に関する情報を組み込むため、ハミルトニアン自身の変化を直接報酬するのではなく、有界多段階ハミルトニアン変分を用いてこの報酬を変調する。 We integrate HTC$^2$ with Soft Actor-Critic (SAC) and Proximal Policy Optimization (PPO) and evaluation it across six DeepMind Control Suite tasks。 ICM, RIDE, E3B, Plan2Explore, 1ステップのハミルトン好奇心ベースラインとの比較は, 時間的学習と物理構造が探索行動に与える影響を特徴付けるために, 状態被覆評価, 成分改善, 位相空間診断によって補完される。

論文の概要: Multi-Horizon Future Discovery for Physics-Informed Exploration

関連論文リスト