論文の概要: Learning the Preferences of a Learning Agent

• arxiv url: http://arxiv.org/abs/2605.09217v1
• Date: Sat, 09 May 2026 23:28:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.119056
• Title: Learning the Preferences of a Learning Agent
• Title（参考訳）: 学習エージェントの選好を学習する
• Abstract要約: 逆強化学習は、観察された行動から好みを推測する手法を開発することを目的としている。 本稿では,学習者の嗜好を学習する問題を定式化する。 我々は、様々な選好学習アルゴリズムの理論的保証を確立し、そうでなければそのような保証は不可能であることを示す。
• 参考スコア（独自算出の注目度）: 11.820109078997504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For AI systems to be useful to humans, they must understand and act in accordance with our values and preferences. Since specifying preferences is a hard task, inverse reinforcement learning (IRL) aims to develop methods that allow for inferring preferences from observed behavior. However, IRL assumes the human to be approximately optimal. This is a big limitation in cases where the human themselves may be learning to act optimally in an environment. In this paper, we formalize the problem of learning the preferences of a learning agent: a predictor observes a learner acting online and tries to infer the underlying reward function being (initially suboptimally) optimized by the learner. We model the learner as either being no-regret, or as converging to an optimal Boltzmann policy over time. In each of these settings, we establish theoretical guarantees for various preference learning algorithms, or otherwise show that such guarantees are impossible.
• Abstract（参考訳）: AIシステムが人間にとって有用であるためには、私たちの価値観や好みに応じて理解し、行動する必要があります。 選好の特定は難しい作業であるため、逆強化学習(IRL)は観察された行動から選好を推測する手法を開発することを目的としている。 しかし、IRLは人間をほぼ最適であると仮定する。 これは、人間自身が環境の中で最適な行動をとることを学んでいる場合において、大きな制限となる。 本稿では,学習者の嗜好を学習する問題を形式化し,学習者はオンラインで行動する学習者を観察し,学習者が(当初は)最適化した報酬関数を推定しようとする。 我々は学習者を非回帰であるか、あるいは時間とともに最適なボルツマン政策に収束するかのいずれかとしてモデル化する。 それぞれの設定において、様々な選好学習アルゴリズムの理論的保証を確立するか、そうでなければそのような保証は不可能であることを示す。

関連論文リスト

• Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning [12.742158403867002]
  ヒューマンフィードバックからの強化学習は、基礎モデルを人間の価値観や好みに合わせるための強力なパラダイムである。 現在のRLHF技術は、多様な集団における個人の嗜好の自然に生じる相違を説明できない。 マルチモーダルなRLHF手法のクラスを開発し,多元的アライメントの必要性に対処する。
  論文  参考訳（メタデータ） (2024-08-19T15:18:30Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Contrastive Preference Learning: Learning from Human Feedback without RL [71.77024922527642]
  本稿では、報酬関数を学習せずに好みから最適なポリシーを学習するアルゴリズムであるContrastive Preference Learning (CPL)を紹介する。 CPLは完全に非政治的であり、単純なコントラスト目的のみを使用し、任意のMDPに適用できる。
  論文  参考訳（メタデータ） (2023-10-20T16:37:56Z)
• Reinforcement Learning from Diverse Human Preferences [68.4294547285359]
  本稿では,人選好ラベルをクラウドソーシングし,多様な嗜好から学習する手法を開発した。 提案手法はDMcontrolとMeta-worldの様々なタスクでテストされる。 多様なフィードバックから学ぶと、既存の好みベースのRLアルゴリズムよりも一貫性があり、大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-27T15:18:54Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Strategizing against Learners in Bayesian Games [74.46970859427907]
  プレイヤーの1人である学習者が無学習の学習戦略を採用する2人プレイヤゲームについて検討した。 一般のベイズゲームでは,学習者と学習者の双方の報酬の支払いが,そのタイプに依存する可能性がある。
  論文  参考訳（メタデータ） (2022-05-17T18:10:25Z)
• Privacy-Preserving Reinforcement Learning Beyond Expectation [6.495883501989546]
  自動運転車のような機械学習アルゴリズムを備えたサイバーおよびサイバー物理システムは、環境を人間と共有する。 システム(またはエージェント)の振る舞いを1人以上のユーザの好みに合わせることが重要である。 エージェントが未知の環境で行動を学ぶ必要がある場合を考える。
  論文  参考訳（メタデータ） (2022-03-18T21:28:29Z)
• The Information Geometry of Unsupervised Reinforcement Learning [133.20816939521941]
  教師なしスキル発見(英語: Unsupervised skill discovery)とは、報酬関数にアクセスせずに一連のポリシーを学ぶアルゴリズムのクラスである。 教師なしのスキル発見アルゴリズムは、あらゆる報酬関数に最適なスキルを学習しないことを示す。
  論文  参考訳（メタデータ） (2021-10-06T13:08:36Z)
• Exploration and preference satisfaction trade-off in reward-free learning [3.4998703934432682]
  共役前駆体を用いた選好学習機構を備えたモデルベースベイズエージェントを提案する。 OpenAI Gym FrozenLakeと3Dのミニワールド環境において、ボラティリティと非ボラティリティについて説明する。 実験の結果,学習可能な(再帰的でない)嗜好は,探索と嗜好満足度とのトレードオフを伴っていることが示唆された。
  論文  参考訳（メタデータ） (2021-06-08T13:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。