論文の概要: Self-Regulation and Requesting Interventions

• arxiv url: http://arxiv.org/abs/2502.04576v1
• Date: Fri, 07 Feb 2025 00:06:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:58:13.398956
• Title: Self-Regulation and Requesting Interventions
• Title（参考訳）: 自己規制と要求介入
• Authors: So Yeon Min, Yue Wu, Jimin Sun, Max Kaufmann, Fahim Tajwar, Yonatan Bisk, Ruslan Salakhutdinov,
• Abstract要約: 介入要求のための"helper"ポリシーをトレーニングするオフラインフレームワークを提案する。 PRMによる最適介入タイミングを判定し,これらのラベル付き軌道上でヘルパーモデルを訓練する。 このオフラインアプローチは、トレーニング中のコストのかかる介入コールを大幅に削減する。
• 参考スコア（独自算出の注目度）: 63.5863047447313
• License:
• Abstract: Human intelligence involves metacognitive abilities like self-regulation, recognizing limitations, and seeking assistance only when needed. While LLM Agents excel in many domains, they often lack this awareness. Overconfident agents risk catastrophic failures, while those that seek help excessively hinder efficiency. A key challenge is enabling agents with a limited intervention budget $C$ is to decide when to request assistance. In this paper, we propose an offline framework that trains a "helper" policy to request interventions, such as more powerful models or test-time compute, by combining LLM-based process reward models (PRMs) with tabular reinforcement learning. Using state transitions collected offline, we score optimal intervention timing with PRMs and train the helper model on these labeled trajectories. This offline approach significantly reduces costly intervention calls during training. Furthermore, the integration of PRMs with tabular RL enhances robustness to off-policy data while avoiding the inefficiencies of deep RL. We empirically find that our method delivers optimal helper behavior.
• Abstract（参考訳）: 人間の知性には、自己統制、制限の認識、必要なときのみ支援を求めるといったメタ認知能力が含まれる。 LLMエージェントは多くの領域で優れているが、この認識を欠いていることが多い。 過信なエージェントは破滅的な失敗を危険にさらし、一方で効率を過度に損なうのに役立ちます。 重要な課題は、限られた介入予算を持つエージェントが、いつ援助を要求するかを決めることである。 本稿では,LLMに基づくプロセス報酬モデル(PRM)と表型強化学習を組み合わせることで,より強力なモデルやテスト時間計算などの介入を要求するために,"ヘルパー"ポリシーをトレーニングするオフラインフレームワークを提案する。 オフラインで収集した状態遷移を用いて、PRMによる最適介入タイミングを記録し、これらのラベル付き軌道上でヘルパーモデルを訓練する。 このオフラインアプローチは、トレーニング中のコストのかかる介入コールを大幅に削減する。 さらに,表状のRLとのPRMの統合により,深いRLの非効率さを回避しつつ,非政治データに対する堅牢性が向上する。 我々は,本手法が最適なヘルパー動作をもたらすことを実証的に見出した。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• OffRIPP: Offline RL-based Informative Path Planning [12.705099730591671]
  IPPはロボット工学において重要なタスクであり、ターゲット環境に関する貴重な情報を収集するためには、エージェントが経路を設計する必要がある。 トレーニング中のリアルタイムインタラクションを必要とせずに情報ゲインを最適化するオフラインRLベースのIPPフレームワークを提案する。 我々は、広範囲なシミュレーションと実世界の実験を通して、この枠組みを検証する。
  論文  参考訳（メタデータ） (2024-09-25T11:30:59Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• BCRLSP: An Offline Reinforcement Learning Framework for Sequential Targeted Promotion [8.499811428928071]
  本稿では,利用者に送付される現金ボーナスの価値を決定するために,予算制約付き逐次促進学習フレームワークを提案する。 BCRLSPは, 長期顧客維持率が高く, 各種ベースラインよりも低コストであることを示す。
  論文  参考訳（メタデータ） (2022-07-16T00:10:12Z)
• Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling [13.915157044948364]
  マルチエージェント強化学習をスケールする上で重要な障害の1つは、個々のエージェントの行動にクレジットを割り当てることである。 本稿では,このクレジット代入問題に対して,PRD(textitpartial reward decoupling)と呼ぶアプローチで対処する。 PRDは、大規模な協調的マルチエージェントRL問題を、エージェントのサブセットを含む分離されたサブプロブレムに分解し、クレジット割り当てを単純化する。
  論文  参考訳（メタデータ） (2021-12-23T17:48:04Z)
• Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement Learning with Actor Rectification [74.10976684469435]
  オフライン強化学習(RL)アルゴリズムは、直接マルチエージェント設定に転送することができる。 本稿では,この重要な課題に対処するために,Actor Rectification (OMAR) を用いたオフラインマルチエージェント RL を提案する。 OMARはマルチエージェント連続制御ベンチマークにおける最先端性能と強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2021-11-22T13:27:42Z)
• Contingency-Aware Influence Maximization: A Reinforcement Learning Approach [52.109536198330126]
  インフルエンス(IM)問題は、インフルエンスの普及を最大化する、ソーシャルネットワーク内のシードノードのサブセットを見つけることを目的としている。 本研究では、招待されたノードがシードであるかどうかが不確実なIM問題(contingency-aware IM)に焦点をあてる。 最初の成功にもかかわらず、より多くのコミュニティへのソリューションの推進における大きな実践上の障害は、欲張りのアルゴリズムの巨大な実行時である。
  論文  参考訳（メタデータ） (2021-06-13T16:42:22Z)
• Believe What You See: Implicit Constraint Approach for Offline Multi-Agent Reinforcement Learning [16.707045765042505]
  現在のオフラインRLアルゴリズムは、累積外挿誤差のため、マルチエージェントシステムでは有効ではない。 本稿では,外挿誤差を効果的に軽減する新しいオフラインRLアルゴリズム,Implicit Constraint Q-learning (ICQ)を提案する。 実験結果から, 外挿誤差はほぼゼロに減少し, エージェント数に敏感であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-07T08:02:31Z)
• Hybrid Imitation Learning for Real-Time Service Restoration in Resilient Distribution Systems [4.634828363888443]
  自己修復能力は、レジリエントな分散システムにとって最も重要な要素の1つである。 これらのエージェントは、リアルタイムの要件を満たすために事前に設計された決定ポリシーを備えるべきである。 本稿では,そのような政策を訓練するための模倣学習(IL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-29T22:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。