論文の概要: Training and Evaluating Ethical Reinforcement Learning Agents on Per-Episode Distributions

• arxiv url: http://arxiv.org/abs/2608.14642v1
• Date: Wed, 29 Jul 2026 00:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.936598
• Title: Training and Evaluating Ethical Reinforcement Learning Agents on Per-Episode Distributions
• Title（参考訳）: エポソード当たり分布における倫理強化学習エージェントの訓練と評価
• Abstract要約: 強化学習(RL)エージェントは、単一の報酬信号で訓練され、設計された報酬と意図された振る舞いの間のギャップを利用する。 オープンエンドサバイバルベンチマークであるCraftaxでは,倫理的行動のトレーニング方法4つを比較した。 トレーニングと評価の両方が平均よりもエポソード当たりの分布を目標とすべきである,と我々は主張する。
• 参考スコア（独自算出の注目度）: 1.1947990549568765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) agents trained on a single reward signal exploit the gap between the designed reward and the intended behavior. This is particularly a problem when we are trying to imbue ethical behavior into RL agents. An agent can look ethical on average while concentrating its violations in a few bad episodes, and a creature in the environment harmed in one episode is not restored by good conduct in another. We compare four ways of training ethical behavior in Craftax, an open-ended survival benchmark. The four are: scalar penalties with termination, a linear multi-objective weight sweep, an adaptive Lagrangian constraint, and a non-compensatory utility optimized per episode under the Expected Scalarized Returns (ESR) criterion. All are evaluated under a single detector-based protocol that counts every violation in every episode without censoring. On the frontier of mean return against mean violation rate, the four methods are indistinguishable; per episode they separate sharply. At matched mean return, the ESR agent holds its stated budget of one violation in effectively every episode (worst-decile 1.04 +/- 0.07 violations), the Lagrangian leaks past the same budget (1.14 +/- 0.03), and the weight sweep's worst episodes double it (2.20 +/- 0.20). An observation-augmentation control attributes the separation to the training objective rather than to what the agent observes, and the per-episode guarantee costs nothing on the mean frontier. When ethical violations do not average away across episodes, we argue both training and evaluation must target the per-episode distribution rather than the mean.
• Abstract（参考訳）: 強化学習(RL)エージェントは、単一の報酬信号で訓練され、設計された報酬と意図された振る舞いの間のギャップを利用する。 これは、倫理的行動をRLエージェントに組み込もうとするときに特に問題となる。 エージェントは、いくつかの悪いエピソードにおいて違反を集中しながら平均的に倫理的に見え、あるエピソードで害を受けた環境内の生物は、別のエピソードにおける善行によって回復されない。 オープンエンドサバイバルベンチマークであるCraftaxでは,倫理的行動のトレーニング方法4つを比較した。 4つは、終端付きスカラーペナルティ、線形多目的重量掃討、適応ラグランジアン制約、および期待されたスカラーリターン(ESR)基準の下で1回あたり最適化された非補償ユーティリティである。 すべては単一の検出器ベースのプロトコルで評価され、すべてのエピソードにおける違反を検閲なしでカウントする。 平均違反率に対する平均回帰のフロンティアでは、4つの方法は区別できない。 一致した平均的なリターンでは、ESRエージェントは事実上全てのエピソードにおいて1回の違反(Worst-decile 1.04 +/- 0.07 違反)の予算を保持し、ラグランジアン・リークは同じ予算(1.14 +/- 0.03)を過ぎ、ウェイト・スイープの最悪のエピソードは2倍(2.20 +/- 0.20)となる。 観察増強制御は、エージェントが観察するものよりも、トレーニング対象の分離に特有であり、平均フロンティアに費用がかからない。 倫理的違反がエピソード全体で平均的でない場合、トレーニングと評価の両方が平均よりもエピソードごとの分布を目標にする必要があると論じる。

関連論文リスト

• Abstention as an Action Can Kill Both the Reward Gradient and the KL Anchor: Collapse Law and Repair for Error-Penalized Reinforcement Learning [5.990509154718772]
  誤判定ルール(正解は+1ドル、誤答は$$、棄権は$0ドル)は幻覚に対してますます規定されている。 我々は、KL-anchored学習者が逆のことができることを証明した。
  論文  参考訳（メタデータ） (2026-07-31T21:31:07Z)
• RLVP: Penalize the Path, Reward the Outcome [0.33451037881913753]
  検証可能な報酬(RLVR)からの強化学習は、両方の課題に盲目である。 進捗に報いることで監督を強化しようとする試みは、検証の難しい方向を狙う。 のレシピは、ほぼゼロに近い違反で高いタスクの成功を達成します。
  論文  参考訳（メタデータ） (2026-07-08T14:06:14Z)
• RVPO: Risk-Sensitive Alignment via Variance Regularization [13.192921543523283]
  本稿では, 利便集約時のリワード間分散をペナルティ化するリスクセンシティブなフレームワークであるReward-Variance Policy Optimization (RVPO)を提案する。 我々はTaylor拡張を通して、LogSumExp(SoftMin)オペレータがスムーズな分散ペナルティとして効果的に働くことを示す。 モデルがより簡単な目的を活かすために難しい制約を無視しないようにすることで、RVPOはHealthBenchの全体的なスコアを改善する。
  論文  参考訳（メタデータ） (2026-05-07T06:43:05Z)
• MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents [0.0]
  検索強化エージェントに対するメモリ中毒攻撃を,統合評価フレームワークを用いたStackelbergゲームとして定式化する。 ASR-R: 0.25〜1.00$) による攻撃成功度を4倍に向上させる。 私たちの主な貢献は、勾配結合に接地したキャリブレーションに基づく防御であるMEMSADである。
  論文  参考訳（メタデータ） (2026-05-05T08:15:41Z)
• Training Agents to Self-Report Misbehavior [6.238288009817414]
  本稿では,エージェントが秘密裏に誤動作した場合に,目に見える信号を生成するよう訓練する自己犯罪訓練を提案する。 GPT-4.1 と Gemini-2.0 エージェントをトレーニングして、behaving 時に report_scheming() ツールを呼び出します。 自己犯罪は未発見の攻撃率を大幅に低下させる。
  論文  参考訳（メタデータ） (2026-02-25T18:47:17Z)
• Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models [68.45272703833209]
  現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。 これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。 我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
  論文  参考訳（メタデータ） (2026-02-20T23:38:03Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reinforcement Learning with Segment Feedback [56.54271464134885]
  状態ごとの反応フィードバックと軌道フィードバックのギャップを埋める一般的なパラダイムを提供するRLというモデルを考える。 バイナリフィードバックの下では、$m$のセグメント数の増加は指数率で後悔を減少させるが、驚くべきことに、和フィードバックの下では、$m$の増加は後悔を著しく減少させるものではない。
  論文  参考訳（メタデータ） (2025-02-03T23:08:42Z)
• Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning [49.48615590763914]
  我々は,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。 提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T08:20:29Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布推定が消失することを示し,推定分布が急速に平均に崩壊することを実証的に観察した。 我々は,$L$の学習効率に感化され,効率のよい学習方法として,返却分布の期待値と量子値を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)
• Toward Adversarial Robustness via Semi-supervised Robust Training [93.36310070269643]
  アドリラルな例は、ディープニューラルネットワーク(DNN)に対する深刻な脅威であることが示されている。 R_stand$ と $R_rob$ の2つの異なるリスクを共同で最小化することで、新しい防御手法であるロバストトレーニング(RT)を提案する。
  論文  参考訳（メタデータ） (2020-03-16T02:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。