論文の概要: Minding Motivation: The Effect of Intrinsic Motivation on Agent Behaviors

• arxiv url: http://arxiv.org/abs/2507.19725v1
• Date: Sat, 26 Jul 2025 00:49:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:56.074355
• Title: Minding Motivation: The Effect of Intrinsic Motivation on Agent Behaviors
• Title（参考訳）: 思考モチベーション:内在的モチベーションが作用行動に及ぼす影響
• Authors: Leonardo Villalobos-Arias, Grant Forbes, Jianxun Wang, David L Roberts, Arnav Jhala,
• Abstract要約: Intrinsic Motivation(IM)法は報酬スパーシティーの効果的な解法である。 また、IMは「報酬ハッキング」と呼ばれる問題を引き起こし、エージェントはゲームの適切なプレイを犠牲にして新たな報酬を最適化する。 本研究は,MiniGridゲームライクな環境における3つのIM技術の効果を実証的に評価することによって,第一歩を踏み出した。
• 参考スコア（独自算出の注目度）: 2.2169849640518153
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Games are challenging for Reinforcement Learning~(RL) agents due to their reward-sparsity, as rewards are only obtainable after long sequences of deliberate actions. Intrinsic Motivation~(IM) methods -- which introduce exploration rewards -- are an effective solution to reward-sparsity. However, IM also causes an issue known as `reward hacking' where the agent optimizes for the new reward at the expense of properly playing the game. The larger problem is that reward hacking itself is largely unknown; there is no answer to whether, and to what extent, IM rewards change the behavior of RL agents. This study takes a first step by empirically evaluating the impact on behavior of three IM techniques on the MiniGrid game-like environment. We compare these IM models with Generalized Reward Matching~(GRM), a method that can be used with any intrinsic reward function to guarantee optimality. Our results suggest that IM causes noticeable change by increasing the initial rewards, but also altering the way the agent plays; and that GRM mitigated reward hacking in some scenarios.
• Abstract（参考訳）: Reinforcement Learning~(RL)エージェントにとって、報酬は長期にわたる故意の行動の後にのみ得られるため、ゲームは報酬の相違により困難である。 Intrinsic Motivation~(IM)メソッド -- 探索報酬を導入する -- は、報酬スパーシティに対する効果的な解決策である。 しかし、IMは「リワードハック」と呼ばれる問題を引き起こし、エージェントはゲームの適切なプレイを犠牲にして新たな報酬を最適化する。 より大きな問題は、報酬のハッキングそのものがほとんど未知であり、IMがRLエージェントの振る舞いを変えるかどうか、そしてどの程度の程度で答えがないことである。 本研究は,MiniGridゲームライクな環境における3つのIM技術の効果を実証的に評価することによって,第一歩を踏み出した。 これらのIMモデルを,任意の固有報酬関数を用いて最適性を保証する手法であるGeneralized Reward Matching~(GRM)と比較する。 以上の結果から,IMは初期報酬を増やすことで顕著な変化を引き起こすが,エージェントの動作も変化し,GAMは一部のシナリオにおいて報酬ハッキングを軽減したことが示唆された。

関連論文リスト

• Robust and Performance Incentivizing Algorithms for Multi-Armed Bandits with Strategic Agents [52.75161794035767]
  性能インセンティブとロバストネスの2つの目的を同時に満たすバンディットアルゴリズムのクラスを導入する。 そこで本研究では,第2価格オークションのアイデアをアルゴリズムと組み合わせることで,プリンシパルが腕の性能特性に関する情報を持たないような設定が可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-13T06:54:49Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)
• Reward Design with Language Models [27.24197025688919]
  強化学習におけるリワード設計(Reward design in reinforcement learning, RL)は、人間の望ましい行動の概念を特定することは、報酬関数や専門家によるデモンストレーションを必要とするため困難である。 代わりに、自然言語インターフェースを使って報酬を安く設計できますか? 本稿では,代用報酬関数として GPT-3 などの大規模言語モデル (LLM) を提案する。
  論文  参考訳（メタデータ） (2023-02-27T22:09:35Z)
• Redeeming Intrinsic Rewards via Constrained Optimization [17.203887958936168]
  最先端強化学習(RL)アルゴリズムは、通常、探索にランダムサンプリング(例えば$epsilon$-greedy)を用いるが、モンテズマのRevengeのようなハードな探索には失敗する。 探索ボーナス(本質的な報酬または好奇心とも呼ばれる)を使って、エージェントが新しい国家を訪問する動機付けをする以前の作品 このような手法は, 厳密な探索作業において優れた結果をもたらすが, 課題報酬のみを用いて訓練したエージェントと比較して, 内在的な報酬バイアスや過小評価に悩まされる可能性がある。 そこで本研究では,本質的な報酬の重要度を自動的に調整する制約付きポリシ最適化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-14T18:49:26Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Automatic Reward Design via Learning Motivation-Consistent Intrinsic Rewards [46.068337522093096]
  報酬の最大化という基本的な目標を捉えたモチベーションの概念を導入する。 提案手法は, 遅延報酬, 探索, 信用代入といった問題に対処する上で, 最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-29T14:52:02Z)
• The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models [85.68751244243823]
  RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。 本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。 エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
  論文  参考訳（メタデータ） (2022-01-10T18:58:52Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Mutual Information State Intrinsic Control [91.38627985733068]
  本質的に動機づけられたRLは、本質的な報酬関数を定義することによって、この制約を取り除こうとする。 心理学における自己意識の概念に動機付けられ、エージェントが自分自身を構成するものを知っているという自然な仮定を立てる。 我々は,この報酬をエージェント状態と周辺状態の相互情報として数学的に定式化する。
  論文  参考訳（メタデータ） (2021-03-15T03:03:36Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)
• Action Guidance: Getting the Best of Sparse Rewards and Shaped Rewards for Real-time Strategy Games [0.0]
  報酬の少ないゲームで強化学習を使用するトレーニングエージェントは難しい問題である。 エージェントを訓練して,ゲームにおける真の目的を軽率な報酬で最終的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T03:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。