論文の概要: Safe Learning Under Irreversible Dynamics via Asking for Help

• arxiv url: http://arxiv.org/abs/2502.14043v2
• Date: Tue, 16 Sep 2025 13:55:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.576365
• Title: Safe Learning Under Irreversible Dynamics via Asking for Help
• Title（参考訳）: 非可逆的ダイナミクスによる安全な学習
• Authors: Benjamin Plaut, Juan Liévano-Karim, Hanlin Zhu, Stuart Russell,
• Abstract要約: 公式な後悔の保証を持つほとんどの学習アルゴリズムは、基本的にすべての可能な振る舞いを試すことに依存します。 この組み合わせにより,エージェントは安全かつ効果的に学習できることを示す。 その結果、エージェントが自己充足性を高めながら高い報酬を得ることが可能であるという、最初の公式な証明となり得る。
• 参考スコア（独自算出の注目度）: 13.369079495587693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most learning algorithms with formal regret guarantees essentially rely on trying all possible behaviors, which is problematic when some errors cannot be recovered from. Instead, we allow the learning agent to ask for help from a mentor and to transfer knowledge between similar states. We show that this combination enables the agent to learn both safely and effectively. Under standard online learning assumptions, we provide an algorithm whose regret and number of mentor queries are both sublinear in the time horizon for any Markov Decision Process (MDP), including MDPs with irreversible dynamics. Our proof involves a sequence of three reductions which may be of independent interest. Conceptually, our result may be the first formal proof that it is possible for an agent to obtain high reward while becoming self-sufficient in an unknown, unbounded, and high-stakes environment without resets.
• Abstract（参考訳）: 公式な後悔の保証を持つほとんどの学習アルゴリズムは、基本的には可能なすべての振る舞いを試すことに依存します。 代わりに、学習エージェントがメンターから助けを求め、類似した状態間で知識を伝達することを可能にします。 この組み合わせにより,エージェントは安全かつ効果的に学習できることを示す。 標準的なオンライン学習の仮定の下では,MDPを含む任意のマルコフ決定プロセス (MDP) において,後悔とメンタクエリ数の双方が時間軸のサブ線形であるアルゴリズムを提供する。 我々の証明は、独立した関心を持つかもしれない3つの還元の連続を含む。 概念的には、エージェントがリセットなしで、未知の、非有界で、かつ、高利得な環境で自己満足し、高い報酬を得ることが可能であることを示す最初の公式な証明である。

関連論文リスト

• Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
  我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。 私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。 敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
  論文  参考訳（メタデータ） (2025-07-28T16:19:25Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)
• No-Regret Algorithms for Safe Bayesian Optimization with Monotonicity Constraints [41.04951588017592]
  未知の関数 $f$ を $(s,mathbfx)$ という形式の一連の作用に対して逐次最大化する問題を考える。 提案アルゴリズムの修正版では,各$mathbfx$に対応するほぼ最適の$s$を求めるタスクに対して,サブ線形後悔が得られることを示す。
  論文  参考訳（メタデータ） (2024-06-05T13:41:26Z)
• Learning Constrained Markov Decision Processes With Non-stationary Rewards and Constraints [34.7178680288326]
  制約付きマルコフ決定プロセス(CMDP)では、逆の報酬と制約があり、よく知られた不合理性の結果、任意のアルゴリズムがサブリニア後悔とサブリニア制約違反を達成できない。 非定常的な報酬や制約のあるCMDPでは、非定常性の増加とともに性能がスムーズに低下するアルゴリズムを提供することで、この負の結果が緩和できることが示される。
  論文  参考訳（メタデータ） (2024-05-23T09:48:48Z)
• Truly No-Regret Learning in Constrained MDPs [61.78619476991494]
  未知のCMDPで学習するモデルベース原始双対アルゴリズムを提案する。 提案アルゴリズムは,誤差のキャンセルを伴わずにサブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2024-02-24T09:47:46Z)
• Information-Theoretic Safe Bayesian Optimization [59.758009422067005]
  そこでは、未知の(安全でない)制約に反するパラメータを評価することなく、未知の関数を最適化することを目的としている。 現在のほとんどのメソッドはドメインの離散化に依存しており、連続ケースに直接拡張することはできない。 本稿では,GP後部を直接利用して,最も情報に富む安全なパラメータを識別する情報理論的安全な探索基準を提案する。
  論文  参考訳（メタデータ） (2024-02-23T14:31:10Z)
• Avoiding Catastrophe in Online Learning by Asking for Help [7.881265948305421]
  本稿では,災害の可能性を最小化するオンライン学習問題を提案する。 まず、アルゴリズムが常にメンターに問い合わせるか、大惨事を引き起こすことがほぼ保証されているかを示す。 時間的地平線が大きくなるにつれて,メンターの双方が0に近づいたことを後悔するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-12T21:12:11Z)
• Learning to Act Safely with Limited Exposure and Almost Sure Certainty [1.0323063834827415]
  本稿では,未知の環境における安全な行動を取るための学習を,探索試験を必要とせずに実現できるという考えを提唱する。 本稿では,まず標準的マルチアームバンディット問題に着目し,不確実性の存在下での学習安全性の本質的なトレードオフについて検討する。
  論文  参考訳（メタデータ） (2021-05-18T18:05:12Z)
• Towards Safe Policy Improvement for Non-Stationary MDPs [48.9966576179679]
  多くの実世界の利害問題は非定常性を示し、利害関係が高ければ、偽の定常性仮定に関連するコストは受け入れがたい。 我々は、スムーズに変化する非定常的な意思決定問題に対して、高い信頼性で安全性を確保するための第一歩を踏み出します。 提案手法は,時系列解析を用いたモデルフリー強化学習の合成により,セルドンアルゴリズムと呼ばれる安全なアルゴリズムを拡張した。
  論文  参考訳（メタデータ） (2020-10-23T20:13:51Z)
• Excursion Search for Constrained Bayesian Optimization under a Limited Budget of Failures [62.41541049302712]
  本稿では,所定の予算の失敗の関数として探索において許容されるリスクの量を制御する制御理論に基づく新しい意思決定者を提案する。 本アルゴリズムは, 種々の最適化実験において, 故障予算をより効率的に利用し, 一般に, 最先端の手法よりも, 後悔度を低くする。
  論文  参考訳（メタデータ） (2020-05-15T09:54:09Z)
• Corruption-robust exploration in episodic reinforcement learning [76.19192549843727]
  本研究は, システムにおける報酬と遷移確率の両面において, 敵対的腐敗下での多段階・多段階・多段階強化学習について検討した。 我々の枠組みは、汚職の欠如をほぼ最適に後悔する効率的なアルゴリズムをもたらす。 特に,本研究は,根本的強化学習のためのBandit-Feedbackモデルにおいて,純粋にI.d.遷移からの逸脱を保証した最初のサブ線形後悔の保証を提供する。
  論文  参考訳（メタデータ） (2019-11-20T03:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。