論文の概要: MONA: Myopic Optimization with Non-myopic Approval Can Mitigate Multi-step Reward Hacking

• arxiv url: http://arxiv.org/abs/2501.13011v1
• Date: Wed, 22 Jan 2025 16:53:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:18.226897
• Title: MONA: Myopic Optimization with Non-myopic Approval Can Mitigate Multi-step Reward Hacking
• Title（参考訳）: MONA:Myopic Optimization with Non-myopic Approval Canitigate Multi-step Reward Hacking
• Authors: Sebastian Farquhar, Vikrant Varma, David Lindner, David Elson, Caleb Biddulph, Ian Goodfellow, Rohin Shah,
• Abstract要約: 本研究では,好ましくないマルチステッププランを学習するエージェントが高い報酬を受けるのを避けるためのトレーニング手法を提案する。 この手法は,近視的最適化と遠視的報酬を組み合わせることで,非近視的評価法 (MONA) を用いた近視的最適化を行う。
• 参考スコア（独自算出の注目度）: 17.055020939723676
• License:
• Abstract: Future advanced AI systems may learn sophisticated strategies through reinforcement learning (RL) that humans cannot understand well enough to safely evaluate. We propose a training method which avoids agents learning undesired multi-step plans that receive high reward (multi-step "reward hacks") even if humans are not able to detect that the behaviour is undesired. The method, Myopic Optimization with Non-myopic Approval (MONA), works by combining short-sighted optimization with far-sighted reward. We demonstrate that MONA can prevent multi-step reward hacking that ordinary RL causes, even without being able to detect the reward hacking and without any extra information that ordinary RL does not get access to. We study MONA empirically in three settings which model different misalignment failure modes including 2-step environments with LLMs representing delegated oversight and encoded reasoning and longer-horizon gridworld environments representing sensor tampering.
• Abstract（参考訳）: 将来の高度なAIシステムは、人間が安全に評価するには十分理解できない強化学習(RL)を通じて洗練された戦略を学ぶことができる。 本研究では、人間が望ましくない行為を検知できない場合でも、高い報酬(複数ステップの「逆ハック」)を受けるような、望ましくない多段階計画の学習を避けるための訓練方法を提案する。 この手法は,近視的最適化と遠視的報酬を組み合わせることで,非近視的評価法(MONA)を用いた近視的最適化を行う。 我々は、通常のRLがアクセスできない余分な情報なしに、報奨ハッキングを検出できなくても、通常のRLが引き起こすマルチステップの報奨ハッキングを防止できることを実証した。 筆者らはMONAを3つの環境において実証的に検討し,2段階のLLM環境やエンコード推論,センサの改ざんを表わす長軸グリッドワールド環境など,異なる不整合障害モードをモデル化した。

関連論文リスト

• Reinforcement Learning From Imperfect Corrective Actions And Proxy Rewards [38.056359612828466]
  我々は、修正行動とプロキシ報酬(ICoPro)から反復学習と呼ばれる新しい値に基づく深部RLアルゴリズムを提案する。 様々なタスク(アタリゲームと高速道路での自動運転)に関する提案を実験的に検証する。
  論文  参考訳（メタデータ） (2024-10-08T08:04:09Z)
• World Models Increase Autonomy in Reinforcement Learning [6.151562278670799]
  強化学習(Reinforcement Learning, RL)は、知的エージェントを訓練するための魅力的なパラダイムである。 MoReFreeエージェントは、リセット不要タスクを処理するために、探索とポリシー学習という2つの重要なメカニズムを適用する。 環境報酬やデモンストレーションへのアクセスなしに、様々なリセットのないタスクに対して優れたデータ効率を示す。
  論文  参考訳（メタデータ） (2024-08-19T08:56:00Z)
• Beyond Optimism: Exploration With Partially Observable Rewards [10.571972176725371]
  強化学習(RL)の探索は依然としてオープンな課題である。 本稿では,既存手法の限界を克服し,最適方針への収束を保証する新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-20T00:42:02Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)
• Mind the Gap: Offline Policy Optimization for Imperfect Rewards [14.874900923808408]
  多様な不完全な報酬を処理できる統合オフラインポリシー最適化手法である textitRGM (Reward Gap Minimization) を提案する。 下位層の双対性を生かして,オンラインインタラクションを伴わずにサンプルベースの学習を可能にする,抽出可能なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-02-03T11:39:50Z)
• The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models [85.68751244243823]
  RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。 本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。 エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
  論文  参考訳（メタデータ） (2022-01-10T18:58:52Z)
• URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
  教師なし強化学習ベンチマーク(URLB)を紹介する。 URLBは2つのフェーズで構成されている。 評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
  論文  参考訳（メタデータ） (2021-10-28T15:07:01Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations [55.41644538483948]
  本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。 提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。 私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-06-17T15:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。