論文の概要: Towards Shutdownable Agents: Generalizing Stochastic Choice in RL Agents and LLMs

• arxiv url: http://arxiv.org/abs/2604.17502v1
• Date: Sun, 19 Apr 2026 15:43:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.558789
• Title: Towards Shutdownable Agents: Generalizing Stochastic Choice in RL Agents and LLMs
• Title（参考訳）: シャットダウン可能なエージェントを目指して:RLエージェントとLLMの確率的選択を一般化する
• Abstract要約: 我々は、DREST(Discounted Reward for Same-Length Trajectories)を用いて、異なる長さの軌道間の好みを欠くようにエージェントを訓練する。 その結果, DreST RL は, ベースラインよりも11% (PPO) と18% (A2C) が有効であることが判明した。
• 参考スコア（独自算出の注目度）: 34.04300270586953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Misaligned artificial agents might resist shutdown. One proposed solution is to train agents to lack preferences between different-length trajectories. The Discounted Reward for Same-Length Trajectories (DReST) reward function does this by penalizing agents for repeatedly choosing same-length trajectories, and thus incentivizes agents to (1) choose stochastically between different trajectory-lengths (be Neutral about trajectory-lengths), and (2) pursue goals effectively conditional on each trajectory-length (be Useful). In this paper, we use DReST to train deep RL agents and fine-tune LLMs to be Neutral and Useful. We find that these DReST agents generalize to being Neutral and Useful in unseen contexts at test time. Indeed, DReST RL agents achieve 11% (PPO) and 18% (A2C) higher Usefulness on our test set than baseline agents, and our fine-tuned LLM achieves maximum Usefulness and near-maximum Neutrality. Our results provide some early evidence that DReST could be used to train more advanced agents to be Useful and Neutral. Prior theoretical work suggests that these agents would be useful and shutdownable.
• Abstract（参考訳）: ミスアライメントされた人工エージェントはシャットダウンに抵抗するかもしれない。 提案された解決策の1つは、異なる長さの軌道間の嗜好を欠くようにエージェントを訓練することである。 DREST(Discounted Reward for Same-Length Trajectories)報酬関数は、同じ長さの軌跡を何度も選択するためのエージェントをペナライズすることでこれを行ないます。 本稿では,DReSTを用いて深部RLエージェントと微調整LDMをニュートラルで有用であるように訓練する。 これらのDReSTエージェントは、テスト時に目に見えない文脈で中性かつ有用であることに一般化されている。 実際, DREST RL 剤は, ベースライン剤よりも11% (PPO) と18% (A2C) が有効であり, 我々の微調整 LLM は最大有用性とほぼ最大中立性を達成する。 我々の結果は、DReSTがより高度なエージェントを有効で中立的に訓練するのに使えるという初期の証拠を提示する。 以前の理論的研究は、これらのエージェントが有用であり、シャットダウン可能であることを示唆していた。

関連論文リスト

• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories [8.282089724857528]
  大規模言語モデル(LLM)エージェントは、教師付き微調整を用いて専門家の軌道から一般的に訓練される。 この問題を緩和する既存の方法は、好みの学習や強化学習である。 本稿では,軽量オフラインエージェントポリシー最適化手法であるAgentic-DPOを提案する。
  論文  参考訳（メタデータ） (2026-07-12T06:38:55Z)
• Dr. MAS: Stable Reinforcement Learning for Multi-Agent LLM Systems [20.971694319263353]
  マルチエージェントLLMシステムのためのシンプルで安定したRLトレーニングレシピであるDr. MASを提案する。 MAS博士はエージェントワイド療法を使用し、各エージェントの報酬統計を用いてエージェントごとの利益を正規化する。 MASはマルチエージェントLLMシステムのためのエンドツーエンドのRLトレーニングフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-02-09T16:13:39Z)
• Agent-Omit: Training Efficient LLM Agents for Adaptive Thought and Observation Omission via Agentic Reinforcement Learning [15.39565540937229]
  マルチターンエージェント環境相互作用におけるエージェント思考と観察の管理は、効率を改善するための新たな戦略である。 本稿では,LLMエージェントが冗長な思考や観察を適応的に省略することを可能にする統合トレーニングフレームワークであるAgent-Omitを提案する。 実験の結果, 構築したAgen-Omit-8Bは, 7つのLLMエージェントに匹敵する性能を得ることができた。
  論文  参考訳（メタデータ） (2026-02-04T07:26:23Z)
• Multimodal Reinforcement Learning with Agentic Verifier for AI Agents [131.46008226323423]
  Argosは、エージェントタスクの推論モデルをトレーニングするための、原則化されたマルチモーダル報酬エージェントである。 エージェント検証をSFTデータとRLトレーニングの両方で活用することにより、我々のモデルは最先端の結果を得ることができる。
  論文  参考訳（メタデータ） (2025-12-03T04:42:47Z)
• Towards shutdownable agents via stochastic choice [39.58317527488534]
  グリッドワールドをナビゲートするための単純なエージェントを訓練するために、DReST報酬関数を使用します。 これらのエージェントは、USEFULとNEUTRALで学ぶことができる。 我々の理論的研究は、これらのエージェントが有用でシャットダウン可能であることを示唆している。
  論文  参考訳（メタデータ） (2024-06-30T19:16:02Z)
• Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement Learning with Actor Rectification [74.10976684469435]
  オフライン強化学習(RL)アルゴリズムは、直接マルチエージェント設定に転送することができる。 本稿では,この重要な課題に対処するために,Actor Rectification (OMAR) を用いたオフラインマルチエージェント RL を提案する。 OMARはマルチエージェント連続制御ベンチマークにおける最先端性能と強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2021-11-22T13:27:42Z)
• Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
  マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。 本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。