論文の概要: PolicyBank: Evolving Policy Understanding for LLM Agents

• arxiv url: http://arxiv.org/abs/2604.15505v1
• Date: Thu, 16 Apr 2026 20:29:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.644295
• Title: PolicyBank: Evolving Policy Understanding for LLM Agents
• Title（参考訳）: 政策銀行: LLMエージェントの政策理解を促進する
• Authors: Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister,
• Abstract要約: PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。 PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
• 参考スコア（独自算出の注目度）: 51.86716874651299
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents operating under organizational policies must comply with authorization constraints typically specified in natural language. In practice, such specifications inevitably contain ambiguities and logical or semantic gaps that cause the agent's behavior to systematically diverge from the true requirements. We ask: by letting an agent evolve its policy understanding through interaction and corrective feedback from pre-deployment testing, can it autonomously refine its interpretation to close specification gaps? We propose PolicyBank, a memory mechanism that maintains structured, tool-level policy insights and iteratively refines them -- unlike existing memory mechanisms that treat the policy as immutable ground truth, reinforcing "compliant but wrong" behaviors. We also contribute a systematic testbed by extending a popular tool-calling benchmark with controlled policy gaps that isolate alignment failures from execution failures. While existing memory mechanisms achieve near-zero success on policy-gap scenarios, PolicyBank closes up to 82% of the gap toward a human oracle.
• Abstract（参考訳）: 組織政策の下で活動するLLMエージェントは、自然言語で典型的に規定される認可制約に従わなければならない。 実際には、そのような仕様は必然的に、エージェントの振る舞いが真の要求から体系的に分岐する原因となる曖昧さと論理的または意味的なギャップを含んでいる。 エージェントがインタラクションや事前デプロイテストからの修正的なフィードバックを通じてポリシー理解を進化させることで、その解釈を閉じた仕様ギャップに自律的に洗練できるだろうか? 我々は、構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練するメモリメカニズムであるPolicyBankを提案します。 また、一般的なツールコールベンチマークを拡張して、アライメント障害と実行障害を分離する、ポリシーギャップを制御することで、システマティックなテストベッドも提供します。 既存のメモリメカニズムはポリシギャップのシナリオでほぼゼロの成功を収める一方、PolicyBankは人間の託宣に対するギャップの最大82%を閉じている。

関連論文リスト

• Near-Miss: Latent Policy Failure Detection in Agentic Workflows [9.719140082591956]
  エージェントの会話トレースにおける遅延ポリシー障害を検出するための新しい指標を提案する。 その結果,ツールコールの変異を伴う軌道の8～17%に潜伏障害がみられた。
  論文  参考訳（メタデータ） (2026-03-31T12:26:35Z)
• When to Act, Ask, or Learn: Uncertainty-Aware Policy Steering [10.01278648231868]
  ポリシーステアリングは、デプロイ時にロボットの振る舞いを適用する新しい方法です。 VLM(Vision-Language Models)は、それらの推論能力のために、汎用的な検証を約束する。 セマンティックタスクの不確実性と低レベルのアクション実現可能性について共同で理由づけるフレームワークである不確実性対応型ポリシーステアリング(UPS)を提案する。
  論文  参考訳（メタデータ） (2026-02-25T23:23:22Z)
• Training-Free Policy Violation Detection via Activation-Space Whitening in LLMs [21.5603664964501]
  本稿では,政策違反検出をアウト・オブ・ディストリビューション検出問題として扱う,トレーニングフリーで効率的な手法を提案する。 ホワイトニング技術にインスパイアされた線形変換を用いて、モデルの隠れたアクティベーションをデコレーションし、平均と単位の分散をゼロに標準化する。 挑戦的な政策ベンチマークでは、既存のガードレールと微調整された推論モデルの両方を超越して、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2025-12-03T17:23:39Z)
• Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes [59.27926064817273]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し,支配的仮定の下でのグローバルな最終点収束保証を享受する。 制約制御タスクにおいて,アクションベース(C-PGAE)とパラメータベース(C-PGPE)の両方を実証的に検証する。
  論文  参考訳（メタデータ） (2025-06-06T10:29:05Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Policy Dispersion in Non-Markovian Environment [53.05904889617441]
  本稿では,非マルコフ環境下での国家行動ペアの歴史から,多様な政策の学習を試みる。 まず、ポリシー埋め込みを学習するために、トランスフォーマーベースの手法を採用する。 次に,政策埋め込みを積み重ねて分散行列を構築し,多様な政策の集合を誘導する。
  論文  参考訳（メタデータ） (2023-02-28T11:58:39Z)
• Bounded Robustness in Reinforcement Learning via Lexicographic Objectives [54.00072722686121]
  強化学習における政策の堅牢性は、いかなるコストでも望ましいものではないかもしれない。 本研究では,任意の観測ノイズに対して,政策が最大限に頑健になる方法について検討する。 本稿では,どのような政策アルゴリズムにも適用可能なロバストネス誘導方式を提案する。
  論文  参考訳（メタデータ） (2022-09-30T08:53:18Z)
• Policy Regularization for Legible Behavior [0.0]
  強化学習では、一般的に、エージェントのメカニズムに関する洞察を提供することを意味する。 本論文は,エージェントの正当性に着目した説明可能な計画文献手法から借用する。 我々の定式化において、正当性によって導入された決定境界は、エージェントのポリシーが他のポリシーでも高い可能性を持つアクションを返す州に影響を与える。
  論文  参考訳（メタデータ） (2022-03-08T10:55:46Z)
• Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness [116.804536884437]
  本稿では,目標指向対話における政策学習のための逆行動認識フレームワークを提案する。 我々は、その行動から相手エージェントの方針を推定し、この推定を用いてターゲットエージェントを対象ポリシーの一部として関連づけて改善する。
  論文  参考訳（メタデータ） (2020-04-21T03:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。