論文の概要: What Happens to the Goal? Distinct Failures of Policy Alignment in Goal Misgeneralization

• arxiv url: http://arxiv.org/abs/2610.19731v1
• Date: Wed, 14 Oct 2026 07:52:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.023954
• Title: What Happens to the Goal? Distinct Failures of Policy Alignment in Goal Misgeneralization
• Title（参考訳）: ゴールに何が起こるか : ゴールのミスジェネリゼーションにおける政策整合の特異な失敗
• Abstract要約: ゴールミスジェネレーション(Goal mis generalization)とは、エージェントが意図した目標を追求せず、分散から巧みに振る舞う、共通の障害モードである。 3つのProcgen環境と5つのロボットタスクにまたがって、政策目標の不一致の3つの異なる形態を見出した。 以上の結果から,目標の不一般化は,目標表現の単一障害ではなく,異なる深さでの政策整合性の異なる障害であることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.04801054011162378
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Goal misgeneralization is a common failure mode in which an agent behaves competently out of distribution but does not pursue the intended goal. However, we still have a weak understanding of what happens to the intended goal in misgeneralizing agents. Across three Procgen environments and five robot tasks, we find three distinct forms of policy-goal misalignment: (1) functional target substitution, where behavior follows an alternative goal, (2) a policy shortcut, where behavior follows a learned action strategy, and (3) cue competition between intended and proxy goal cues. We distinguish these regimes by tracing where goal information remains available internally, how strongly it influences the policy, and what role it plays in action selection, and find that the goal is lost at different depths. Where the goal reaches the decision, as in cue competition, steering redirects the policy to the goal's location, raising intended-goal reach from 16.0% to 95.3%. Where it reaches the policy but not the decision, only new downstream wiring recovers goal reach, from 31.6% to 84.3% in the environment with the action shortcut. Where it is inert, neither works. Our results show that goal misgeneralization is not a single failure of goal representation, but distinct failures of policy alignment at different depths, tightly connected to which recovery works.
• Abstract（参考訳）: ゴールミスジェネレーション(Goal mis generalization)とは、エージェントが意図した目標を追求せず、分散から巧みに振る舞う、共通の障害モードである。 しかし、エージェントを不正に一般化するという意図された目標に何が起こるのかについては、いまだに理解が弱い。 3つのProcgen環境と5つのロボットタスクにまたがって,(1)機能的目標の代替,(2)行動の代替,(2)学習した行動戦略に従う政策ショートカット,(3)意図的目標と代行的目標の競合,の3つの異なる形態の政策目標の不一致を見出した。 我々は、これらの体制を、目標情報が内部で利用可能な場所、それが政策にどれほど強く影響するか、そしてそれが行動選択においてどのような役割を果たすのかを追跡することによって区別し、目標が異なる深さで失われることを見つけます。 ゴールが決定に達すると、キュー競技のように、ステアリングは方針をゴールの位置にリダイレクトし、16.0%から95.3%に到達する。 方針にたどり着くが決定には至らず、新たな下流配線のみが目標到達を31.6%から84.3%に回復させる。 不活性なところでは、どちらも機能しない。 以上の結果から,目標の不一般化はゴール表現の単一障害ではなく,異なる深さでの政策アライメントの異なる障害であり,回復が機能する部分と密接に結びついていることが示唆された。

関連論文リスト

• Functional Graphs for Predicting and Explaining Goal Failure in Sparse Goal-Conditioned RL [0.0]
  スパース目標条件強化学習は、成功率の集計によって失敗を隠蔽するポリシーを生成することができる。 我々は、欲求評価によって導かれる決定論的機能グラフを用いて、目標条件付き値ポリシーを訓練した。 本研究は,強欲な後継者が目標である有効な隣国の割合を測る一段階統計である地域目標支援(LGS)を定義する。
  論文  参考訳（メタデータ） (2026-05-10T05:16:51Z)
• Auction-Based Online Policy Adaptation for Evolving Objectives [0.7734726150561088]
  目的が同じ家族から生まれる多目的強化学習問題について考察する。 本稿では,各目的を自己中心的なローカルポリシーで支援するモジュラーフレームワークを提案する。 この問題を汎用ゲームにすることで、自己中心的なローカルポリシーをいかに計算できるかを示す。
  論文  参考訳（メタデータ） (2026-04-02T15:17:20Z)
• GRAIL: Goal Recognition Alignment through Imitation Learning [10.284830265068795]
  本稿では,Imitation Learning (GRAIL)によるゴール認識アライメントを提案する。 GRAILは、(潜在的に最適でない)実証軌道から直接、各候補目標に対する1つの目標指向ポリシーを学習する。 F1スコアは、体系的にバイアスされた最適挙動の下で0.5以上増加し、準最適挙動下では0.1-0.3の利得を達成し、ノイズの多い最適軌道下では最大0.4の改善をもたらす。
  論文  参考訳（メタデータ） (2026-02-15T17:45:03Z)
• Goal-Directedness is in the Eye of the Beholder [48.937781898861815]
  ゴール指向の行動の探索には,2つのフレーバーがある。 エージェントシステムにおけるゴールの定式化から生じる技術的および概念的問題を特定する。 本稿では,動的マルチエージェントシステムの創発的特性として,ゴール指向性をモデル化するための新たな方向性について概説する。
  論文  参考訳（メタデータ） (2025-08-18T11:04:18Z)
• Mitigating Goal Misgeneralization via Minimax Regret [8.346033392846856]
  本稿では,異なる学習目標の下での目標誤一般化の可能性について理論的に検討する。 そこで我々は,標準的なMEVベースのトレーニング手法が,手続き的に生成されたグリッドワールド環境における目標の一般化を示すことを実証的に示す。 以上の結果から,最小限の後悔は目標の誤一般化を緩和するための有望なアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2025-07-03T17:57:12Z)
• Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
  我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。 想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。 複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T15:30:59Z)
• Adversarial Intrinsic Motivation for Reinforcement Learning [60.322878138199364]
  政策状態の訪問分布と目標分布とのワッサースタイン-1距離が強化学習タスクに有効に活用できるかどうかを検討する。 我々のアプローチは、AIM (Adversarial Intrinsic Motivation) と呼ばれ、このワッサーシュタイン-1距離をその双対目的を通して推定し、補足報酬関数を計算する。
  論文  参考訳（メタデータ） (2021-05-27T17:51:34Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)
• Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness [116.804536884437]
  本稿では,目標指向対話における政策学習のための逆行動認識フレームワークを提案する。 我々は、その行動から相手エージェントの方針を推定し、この推定を用いてターゲットエージェントを対象ポリシーの一部として関連づけて改善する。
  論文  参考訳（メタデータ） (2020-04-21T03:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。