論文の概要: Learning Multi-Timescale Abstractions for Hierarchical Combinatorial Planning

• arxiv url: http://arxiv.org/abs/2605.17058v1
• Date: Sat, 16 May 2026 16:04:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.515224
• Title: Learning Multi-Timescale Abstractions for Hierarchical Combinatorial Planning
• Title（参考訳）: 階層型組合せ計画のためのマルチタイム抽象化の学習
• Authors: Vivienne Huiling Wang, Tinghuai Wang, Joni Pajarinen,
• Abstract要約: シーケンシャルな意思決定のためのモデルベースの階層的フレームワークを提案する。 我々は、コンテキスト対応リソース割り当てをサポートするために、世界モデルと協調して、サブゴール条件の予算政策を学習する。 挑戦的なSSCOベンチマーク全体で、我々の手法は強いベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 21.105233947788104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The combination of exponentially large action spaces, stochastic dynamics, and long-horizon decision-making under limited resources makes Sequential Stochastic Combinatorial Optimization (SSCO) particularly challenging for reinforcement learning. Hierarchical Reinforcement Learning (HRL) offers a natural decomposition, but it places the high-level policy in a Semi-Markov Decision Process (SMDP) where actions have variable durations, making it difficult to learn a world model that is suitable for planning. We introduce a model-based hierarchical framework for sequential stochastic combinatorial decision-making that directly addresses this issue. Our method combines a latent-space tree-search planner with an SMDP-aware world model for variable-duration decisions. A multi-timescale objective structures the latent dynamics so that transition magnitudes reflect the effective temporal scales of abstract actions, enabling efficient lookahead under adaptive temporal abstraction. We further learn a subgoal-conditioned budget policy jointly with the world model to support context-aware resource allocation. Across challenging SSCO benchmarks, our method outperforms strong baselines.
• Abstract（参考訳）: 指数関数的に大きなアクション空間、確率力学、限られたリソースの下での長期水平決定の組み合わせは、特に強化学習において困難である。 階層強化学習(Hierarchical Reinforcement Learning, HRL)は自然な分解を提供するが、行動が変動期間を持つ半マルコフ決定プロセス(SMDP)に高レベルの政策を配置することで、計画に適した世界モデルを学ぶのが難しくなる。 本稿では,この問題に直接対処する逐次確率的組合せ決定のためのモデルに基づく階層的フレームワークを提案する。 提案手法は,潜在空間木探索プランナとSMDP対応世界モデルを組み合わせることで,変数列決定を行う。 マルチタイムスケールの客観的対象は、遷移の規模が抽象的行動の効果的な時間スケールを反映するように潜在力学を構造化し、適応的時間的抽象の下で効率的なルックアヘッドを可能にする。 我々は、文脈対応リソース割り当てをサポートするために、世界モデルと協調して、サブゴール条件の予算政策を学習する。 挑戦的なSSCOベンチマーク全体で、我々の手法は強いベースラインを上回ります。

関連論文リスト

• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Reinforced Reasoning for Embodied Planning [18.40186665383579]
  身体的計画では、エージェントは動的視覚観察と自然言語の目標に基づいて、一貫性のある多段階決定を行う必要がある。 具体的計画にR1スタイルの推論強化をもたらす強化微調整フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-28T07:21:37Z)
• Scalable Decision-Making in Stochastic Environments through Learned Temporal Abstraction [7.918703013303246]
  我々は,高次元連続行動空間における決定を学習する上での課題に対処する潜在マクロ行動プランナー(L-MAP)を提案する。 L-MAPは状態条件ベクトル量子変分オートエンコーダ(VQ-VAE)を通して時間的に拡張されたマクロアクションの集合を学習する 連続制御タスクを含むオフラインRL設定では、L-MAPは離散潜在アクションを効率よく探索し、高い期待値が得られる。
  論文  参考訳（メタデータ） (2025-02-28T16:02:23Z)
• Optimization of geological carbon storage operations with multimodal latent dynamic model and deep reinforcement learning [1.8549313085249324]
  本稿では,高速フロー予測とGCSの制御最適化のためのディープラーニングフレームワークであるMLDモデルを紹介する。 既存のモデルとは異なり、MDDは多様な入力モダリティをサポートし、包括的なデータインタラクションを可能にする。 この手法は従来の手法よりも優れており、計算資源を60%以上削減し、最も高いNPVを達成する。
  論文  参考訳（メタデータ） (2024-06-07T01:30:21Z)
• Exploring the limits of Hierarchical World Models in Reinforcement Learning [0.7499722271664147]
  我々は,新しいHMBRLフレームワークを記述し,それを徹底的に評価する。 時間的抽象の様々なレベルで環境力学をシミュレートする階層的世界モデルを構築した。 ほとんどのゴール条件付き H(MB)RL アプローチとは異なり、これは相対的に低次元の抽象作用をもたらす。
  論文  参考訳（メタデータ） (2024-06-01T16:29:03Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Chain-of-Thought Predictive Control [32.30974063877643]
  複雑な低レベル制御のための実証から一般化可能な政策学習について研究する。 準最適デモを利用した新しい階層型模倣学習法を提案する。
  論文  参考訳（メタデータ） (2023-04-03T07:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。