論文の概要: Functional Graphs for Predicting and Explaining Goal Failure in Sparse Goal-Conditioned RL

• arxiv url: http://arxiv.org/abs/2605.09335v1
• Date: Sun, 10 May 2026 05:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.197196
• Title: Functional Graphs for Predicting and Explaining Goal Failure in Sparse Goal-Conditioned RL
• Title（参考訳）: Sparse Goal-Conditioned RLにおけるゴール故障の予測と説明のための機能グラフ
• Abstract要約: スパース目標条件強化学習は、成功率の集計によって失敗を隠蔽するポリシーを生成することができる。 我々は、欲求評価によって導かれる決定論的機能グラフを用いて、目標条件付き値ポリシーを訓練した。 本研究は,強欲な後継者が目標である有効な隣国の割合を測る一段階統計である地域目標支援(LGS)を定義する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse goal-conditioned reinforcement learning can produce policies whose failures are hidden by aggregate success rates. We analyze trained goal-conditioned value policies through the deterministic functional graphs induced by greedy evaluation: for each goal, every state maps to a single successor, decomposing behavior into attractors and basins. This reveals a local-to-global structure in learned policies. We define local goal support (LGS), a one-step statistic measuring the fraction of valid neighboring states whose greedy successor is the goal. In deterministic sparse GridWorlds, zero LGS exactly precludes goal entry from non-goal starts. Empirically, weak LGS is a strong diagnostic of goal-level failure across update rules, curricula, larger grids, and bottleneck geometries: the fixed rule LGS <= 0.5 identifies low-success goals with precision 0.921, recall 0.929, and F1 0.925 in the main 8x8 TD setting, with similar performance across variants. However, local support is not sufficient for global success: some supported goals still fail because distant states are captured by competing attractors or fragmented basin structure. We therefore introduce a compact post-hoc taxonomy of policy-induced graphs -- goal-dominant, competitor-dominated, partial/contested, and fragmented -- to characterize residual failure modes beyond local support. These results show that sparse GCRL failures can be understood as structured policy-induced dynamics, and that local one-step policy structure provides a cheap post-training diagnostic for goal-level failure.
• Abstract（参考訳）: スパース目標条件強化学習は、成功率の集計によって失敗を隠蔽するポリシーを生成することができる。 欲求評価によって引き起こされる決定論的機能グラフを用いて、訓練された目標条件値ポリシーを解析し、各目標に対して、各状態マップを1つの後継者に分割し、振舞いをアトラクタや盆地に分解する。 これは学習政策における局所的・言語的構造を明らかにする。 本研究は,強欲な後継者が目標である有効な隣国の割合を測る一段階統計である地域目標支援(LGS)を定義する。 決定論的スパースグリッドワールドでは、ゼロLGSはゴールの入力をゴール以外のスタートから完全に妨げている。 固定ルール LGS <= 0.5 は精度 0.921、リコール 0.929、F1 0.925 をメインの8x8 TD設定で識別する。 しかし、地域的支援は世界的な成功には不十分であり、いくつかの支援された目標はまだ失敗している。 したがって、政策によって引き起こされるグラフのコンパクトなポストホックな分類 -- 目標優先、競争優位、部分/テスト、断片化 -- を導入し、局所的なサポート以上の残留障害モードを特徴付ける。 これらの結果から, スパースGCRLの故障は構造的政策誘起力学として理解でき, 局所的な一段階の政策構造は, 目標レベルの障害に対する訓練後診断を安価に提供することが示唆された。

関連論文リスト

• Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning [1.5282767384702272]
  ハミルトン・ヤコビ・ベルマン理論(英語版)は、最適のゴール条件の作用は、現在の状態におけるゴール条件距離の勾配によってのみゴールに依存することを示唆している。 Direction-Conditioned Policies (DCP) は,1つのInfoNCE表現を共有する2つのコンポーネントにゴール取得を分解する完全オンライン手法である。
  論文  参考訳（メタデータ） (2026-06-15T10:18:30Z)
• Dual Advantage Fields [49.37343159001842]
  本稿では,双線形二重値モデルを局所的有利信号に変換するポリシ抽出法であるDual Advantage Fieldsを提案する。 OGBenchのロコモーション、操作、パズルタスクでは、DAFは総合的なRLiableメトリクスを改善し、局所的に正しいアクションが最終目標に向かっての直接の動きと異なる設定で強く機能する。
  論文  参考訳（メタデータ） (2026-06-02T20:15:14Z)
• Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning [16.15046948057208]
  我々は,実行前に遠隔目標を適応的に洗練する完全オフライン目標条件強化学習フレームワークを提案する。 OGBenchの実験は、提案された改善と停止機構を検証し、いくつかの長期的タスクに対してかなりの効果を示した。
  論文  参考訳（メタデータ） (2026-05-27T08:17:01Z)
• Beyond Binary Success: A Diagnostic Meta-Evaluation Framework for Fine-Grained Manipulation [98.79811866787263]
  診断メタ評価フレームワークであるMetaFineを紹介する。 局所的な空間構造を保存できる視覚エンコーダの能力は,きめ細かな精度の鍵となるボトルネックである。 評価をランキングから診断にシフトすることで、MetaFineは、ベンチマークを実際の物理デキスタリティに基づく階層化された能力の修復のための実行可能なコンパスに変換する。
  論文  参考訳（メタデータ） (2026-05-19T15:25:13Z)
• AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
  視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。 本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。 LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-20T04:25:24Z)
• First-Order Representation Languages for Goal-Conditioned RL [8.89493507314525]
  目標条件付きRLと一般化計画における一階述語の使用を検討する。 問題は、トレーニングインスタンスが大きい場合、目標条件付きおよび一般的なポリシーをどのように学習するかだ。 状態と目標が原子の集合で表されるとき、さらなる性能向上が達成できることを示す。
  論文  参考訳（メタデータ） (2025-12-22T12:54:32Z)
• Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning [5.274804664403783]
  SSE(Strict Subgoal Execution)は、グラフベースの階層的RLフレームワークで、単一ステップのサブゴアル到達性を強制する。 SSE は既存の目標条件付き RL および階層型 RL アプローチを効率と成功率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-26T06:35:42Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Byzantine-Robust Learning on Heterogeneous Data via Gradient Splitting [58.91947205027892]
  フェデレーテッド・ラーニングはビザンツの攻撃に対する脆弱性を示している。 ビザンティン攻撃者は、任意の勾配を中央サーバに送ることで、グローバルモデルの収束と性能を破壊することができる。 アグレゲーション・ルール(AGR)は、ビザンツの攻撃から守るために提案されている。
  論文  参考訳（メタデータ） (2023-02-13T03:31:50Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。