論文の概要: Functional Graphs for Predicting and Explaining Goal Failure in Sparse Goal-Conditioned RL

• arxiv url: http://arxiv.org/abs/2605.09335v1
• Date: Sun, 10 May 2026 05:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.197196
• Title: Functional Graphs for Predicting and Explaining Goal Failure in Sparse Goal-Conditioned RL
• Title（参考訳）: Sparse Goal-Conditioned RLにおけるゴール故障の予測と説明のための機能グラフ
• Authors: Shalley Dash,
• Abstract要約: スパース目標条件強化学習は、成功率の集計によって失敗を隠蔽するポリシーを生成することができる。 我々は、欲求評価によって導かれる決定論的機能グラフを用いて、目標条件付き値ポリシーを訓練した。 本研究は,強欲な後継者が目標である有効な隣国の割合を測る一段階統計である地域目標支援(LGS)を定義する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse goal-conditioned reinforcement learning can produce policies whose failures are hidden by aggregate success rates. We analyze trained goal-conditioned value policies through the deterministic functional graphs induced by greedy evaluation: for each goal, every state maps to a single successor, decomposing behavior into attractors and basins. This reveals a local-to-global structure in learned policies. We define local goal support (LGS), a one-step statistic measuring the fraction of valid neighboring states whose greedy successor is the goal. In deterministic sparse GridWorlds, zero LGS exactly precludes goal entry from non-goal starts. Empirically, weak LGS is a strong diagnostic of goal-level failure across update rules, curricula, larger grids, and bottleneck geometries: the fixed rule LGS <= 0.5 identifies low-success goals with precision 0.921, recall 0.929, and F1 0.925 in the main 8x8 TD setting, with similar performance across variants. However, local support is not sufficient for global success: some supported goals still fail because distant states are captured by competing attractors or fragmented basin structure. We therefore introduce a compact post-hoc taxonomy of policy-induced graphs -- goal-dominant, competitor-dominated, partial/contested, and fragmented -- to characterize residual failure modes beyond local support. These results show that sparse GCRL failures can be understood as structured policy-induced dynamics, and that local one-step policy structure provides a cheap post-training diagnostic for goal-level failure.
• Abstract（参考訳）: スパース目標条件強化学習は、成功率の集計によって失敗を隠蔽するポリシーを生成することができる。 欲求評価によって引き起こされる決定論的機能グラフを用いて、訓練された目標条件値ポリシーを解析し、各目標に対して、各状態マップを1つの後継者に分割し、振舞いをアトラクタや盆地に分解する。 これは学習政策における局所的・言語的構造を明らかにする。 本研究は,強欲な後継者が目標である有効な隣国の割合を測る一段階統計である地域目標支援(LGS)を定義する。 決定論的スパースグリッドワールドでは、ゼロLGSはゴールの入力をゴール以外のスタートから完全に妨げている。 固定ルール LGS <= 0.5 は精度 0.921、リコール 0.929、F1 0.925 をメインの8x8 TD設定で識別する。 しかし、地域的支援は世界的な成功には不十分であり、いくつかの支援された目標はまだ失敗している。 したがって、政策によって引き起こされるグラフのコンパクトなポストホックな分類 -- 目標優先、競争優位、部分/テスト、断片化 -- を導入し、局所的なサポート以上の残留障害モードを特徴付ける。 これらの結果から, スパースGCRLの故障は構造的政策誘起力学として理解でき, 局所的な一段階の政策構造は, 目標レベルの障害に対する訓練後診断を安価に提供することが示唆された。

関連論文リスト

• AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
  視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。 本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。 LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-20T04:25:24Z)
• Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning [5.274804664403783]
  SSE(Strict Subgoal Execution)は、グラフベースの階層的RLフレームワークで、単一ステップのサブゴアル到達性を強制する。 SSE は既存の目標条件付き RL および階層型 RL アプローチを効率と成功率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-26T06:35:42Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Byzantine-Robust Learning on Heterogeneous Data via Gradient Splitting [58.91947205027892]
  フェデレーテッド・ラーニングはビザンツの攻撃に対する脆弱性を示している。 ビザンティン攻撃者は、任意の勾配を中央サーバに送ることで、グローバルモデルの収束と性能を破壊することができる。 アグレゲーション・ルール(AGR)は、ビザンツの攻撃から守るために提案されている。
  論文  参考訳（メタデータ） (2023-02-13T03:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。