論文の概要: Hierarchical Decision Making Based on Structural Information Principles

• arxiv url: http://arxiv.org/abs/2404.09760v2
• Date: Sun, 22 Jun 2025 14:07:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.156767
• Title: Hierarchical Decision Making Based on Structural Information Principles
• Title（参考訳）: 構造情報原理に基づく階層的意思決定
• Authors: Xianghua Zeng, Hao Peng, Dingli Su, Angsheng Li,
• Abstract要約: 本稿では,階層的意思決定のための構造情報原則に基づく新しいフレームワーク,すなわちSIDMを提案する。 本稿では,過去の状態-行動軌跡を処理し,状態と行動の抽象表現を構築する抽象化機構を提案する。 単エージェントシナリオのためのスキルベース学習手法と,多エージェントシナリオのためのロールベースの協調手法を開発し,そのどちらも,パフォーマンス向上のために様々な基礎アルゴリズムを柔軟に統合することができる。
• 参考スコア（独自算出の注目度）: 19.82391136775341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical Reinforcement Learning (HRL) is a promising approach for managing task complexity across multiple levels of abstraction and accelerating long-horizon agent exploration. However, the effectiveness of hierarchical policies heavily depends on prior knowledge and manual assumptions about skill definitions and task decomposition. In this paper, we propose a novel Structural Information principles-based framework, namely SIDM, for hierarchical Decision Making in both single-agent and multi-agent scenarios. Central to our work is the utilization of structural information embedded in the decision-making process to adaptively and dynamically discover and learn hierarchical policies through environmental abstractions. Specifically, we present an abstraction mechanism that processes historical state-action trajectories to construct abstract representations of states and actions. We define and optimize directed structural entropy, a metric quantifying the uncertainty in transition dynamics between abstract states, to discover skills that capture key transition patterns in RL environments. Building on these findings, we develop a skill-based learning method for single-agent scenarios and a role-based collaboration method for multi-agent scenarios, both of which can flexibly integrate various underlying algorithms for enhanced performance. Extensive evaluations on challenging benchmarks demonstrate that our framework significantly and consistently outperforms state-of-the-art baselines, improving the effectiveness, efficiency, and stability of policy learning by up to 32.70%, 64.86%, and 88.26%, respectively, as measured by average rewards, convergence timesteps, and standard deviations.
• Abstract（参考訳）: 階層強化学習(Hierarchical Reinforcement Learning, HRL)は、複数の抽象化レベルにわたるタスク複雑性の管理と、長期エージェント探索の高速化のための、有望なアプローチである。 しかし、階層的な政策の有効性は、スキル定義やタスクの分解に関する事前の知識や手動の仮定に大きく依存する。 本稿では,単一エージェントとマルチエージェントの両方のシナリオにおいて,階層的意思決定のための構造情報原則に基づく新しいフレームワークであるSIDMを提案する。 我々の研究の中心は、環境抽象化を通じて階層的な政策を適応的かつ動的に発見し、学習するための意思決定プロセスに埋め込まれた構造情報の利用である。 具体的には、歴史的状態-行動軌跡を処理し、状態と行動の抽象表現を構築する抽象メカニズムについて述べる。 我々は、RL環境における重要な遷移パターンを捉えるスキルを見つけるために、抽象状態間の遷移ダイナミクスの不確かさを定量化する指標である有向構造エントロピーを定義し、最適化する。 これらの結果に基づいて,単エージェントシナリオのスキルベース学習手法と,複数エージェントシナリオのロールベースの協調手法を開発し,各アルゴリズムを柔軟に統合し,パフォーマンスを向上させる。 試行錯誤評価の結果、我々のフレームワークは、平均報酬、収束タイムステップ、標準偏差によって測定された政策学習の効率、効率、安定性を最大32.70%、64.86%、88.26%向上させ、最先端のベースラインを著しく、一貫して上回っていることが示された。

関連論文リスト

• FORCE: Feature-Oriented Representation with Clustering and Explanation [0.0]
  SHAPに基づく教師付きディープラーニングフレームワークForceを提案する。 ニューラルネットワークアーキテクチャにおけるSHAP値の2段階の使用に依存している。 我々はForceが潜在機能とアテンションフレームワークを組み込まないネットワークと比較して、全体的なパフォーマンスを劇的に改善したことを示す。
  論文  参考訳（メタデータ） (2025-04-07T22:05:50Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Effective Exploration Based on the Structural Information Principles [21.656199029188056]
  本稿では,新しい構造情報原則に基づく有効探索フレームワーク,すなわちSI2Eを提案する。 SI2Eは, 最終性能と試料効率に関して, 最先端の探査基準を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-10-09T07:19:16Z)
• A Clustering Method with Graph Maximum Decoding Information [6.11503045313947]
  本稿では,CMDIと呼ばれるグラフベースモデルにおけるデコード情報の最大化のための新しいクラスタリング手法を提案する。 CMDIは2次元構造情報理論を、グラフ構造抽出とグラフ分割という2つのフェーズからなるクラスタリングプロセスに組み込んでいる。 3つの実世界のデータセットに対する実証的な評価は、CMDIが古典的ベースライン法より優れており、より優れた復号化情報比(DI-R)を示すことを示している。 これらの結果から,デコード情報の品質と計算効率を向上させるCMDIの有効性が示され,グラフベースのクラスタリング解析において有用なツールとして位置づけられた。
  論文  参考訳（メタデータ） (2024-03-18T05:18:19Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Hierarchical Ensemble-Based Feature Selection for Time Series Forecasting [0.0]
  非定常性のための階層的積み重ねに基づく特徴選択のための新しいアンサンブルアプローチを導入する。 当社のアプローチでは,階層構造を用いた機能間の共依存を利用しています。 このアプローチの有効性は、合成およびよく知られた実生活データセット上で実証される。
  論文  参考訳（メタデータ） (2023-10-26T16:40:09Z)
• Hierarchical State Abstraction Based on Structural Information Principles [70.24495170921075]
  本稿では、情報理論の観点から、新しい数学的構造情報原理に基づく状態抽象化フレームワーク、すなわちSISAを提案する。 SISAは、様々な表現学習目標と柔軟に統合され、パフォーマンスをさらに向上する一般的なフレームワークである。
  論文  参考訳（メタデータ） (2023-04-24T11:06:52Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication [20.891460617583302]
  連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討 FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。 本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T07:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。