論文の概要: HAVA: Hybrid Approach to Value-Alignment through Reward Weighing for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.15011v1
• Date: Wed, 21 May 2025 01:32:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.809869
• Title: HAVA: Hybrid Approach to Value-Alignment through Reward Weighing for Reinforcement Learning
• Title（参考訳）: HAVA:強化学習のためのリワードウィーディングによるバリューアライメントへのハイブリッドアプローチ
• Authors: Kryspin Varys, Federico Cerutti, Adam Sobey, Timothy J. Norman,
• Abstract要約: 私たちの社会は、安全、公正、信頼など、私たちが大切にしている価値をもたらす一連の規範によって支配されています。 バリューアライメントの目標は、タスクだけでなく、振る舞いを通じてこれらの価値を促進するエージェントを作成することだ。 本稿では,これらの規範を強化学習プロセスに統合する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 6.249768559720121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our society is governed by a set of norms which together bring about the values we cherish such as safety, fairness or trustworthiness. The goal of value-alignment is to create agents that not only do their tasks but through their behaviours also promote these values. Many of the norms are written as laws or rules (legal / safety norms) but even more remain unwritten (social norms). Furthermore, the techniques used to represent these norms also differ. Safety / legal norms are often represented explicitly, for example, in some logical language while social norms are typically learned and remain hidden in the parameter space of a neural network. There is a lack of approaches in the literature that could combine these various norm representations into a single algorithm. We propose a novel method that integrates these norms into the reinforcement learning process. Our method monitors the agent's compliance with the given norms and summarizes it in a quantity we call the agent's reputation. This quantity is used to weigh the received rewards to motivate the agent to become value-aligned. We carry out a series of experiments including a continuous state space traffic problem to demonstrate the importance of the written and unwritten norms and show how our method can find the value-aligned policies. Furthermore, we carry out ablations to demonstrate why it is better to combine these two groups of norms rather than using either separately.
• Abstract（参考訳）: 私たちの社会は、安全、公正、信頼など、私たちが大切にしている価値をもたらす一連の規範によって支配されています。 バリューアライメントの目標は、タスクだけでなく、振る舞いを通じてこれらの価値を促進するエージェントを作成することだ。 法則の多くは法則(法則/安全規範)として書かれるが、さらに無文(社会規範)のままである。 さらに、これらの規範を表現するために使われる技法も異なる。 例えば、社会規範は一般的に学習され、ニューラルネットワークのパラメータ空間に隠れているのに対して、安全/法的規範は論理言語で明示的に表現されることが多い。 これらの様々なノルム表現を1つのアルゴリズムに組み合わせることのできる文献には、アプローチの欠如がある。 本稿では,これらの規範を強化学習プロセスに統合する新しい手法を提案する。 提案手法は,エージェントの基準遵守をモニタし,エージェントの評判と呼ぶ量で要約する。 この量は、受け取った報酬を重み付けして、エージェントがバリューアライメントになる動機付けとなる。 我々は、連続状態空間交通問題を含む一連の実験を行い、書面および書面のない規範の重要性を実証し、我々の方法が価値に整合したポリシーをいかに見つけられるかを示す。 さらに、これら2つのノルム群を別々に使用するよりも組み合わせた方がよい理由を示すために、アブレーションを実施している。

関連論文リスト

• EgoNormia: Benchmarking Physical Social Norm Understanding [52.87904722234434]
  我々は,人間インタラクションのエゴ中心のビデオに基づいて,1,853の挑戦的多段階MCQ質問からなるデータセット$|epsilon|$を提示する。 規範的行動には、安全、プライバシー、プロキシ、丁寧さ、協力、協調/行動、コミュニケーション/相対性という7つのカテゴリが含まれる。
  論文  参考訳（メタデータ） (2025-02-27T19:54:16Z)
• Policy-Adaptable Methods For Resolving Normative Conflicts Through Argumentation and Graph Colouring [0.0]
  マルチエージェントシステムでは、標準を課すことでエージェントの振る舞いを制御できる。 しかし、1つ以上のエージェントに複数の規範を課すことは、エージェントの振る舞いに関してこれらの規範が矛盾する状況を引き起こす可能性がある。 本稿では,議論とグラフカラー化による規範的対立を解決する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-21T00:32:49Z)
• Are language models rational? The case of coherence norms and belief revision [63.78798769882708]
  我々は、論理的コヒーレンス規範と、言語モデルにおける信念の強さに結びついたコヒーレンス規範を考察する。 コヒーレンスに結びついた有理ノルムはいくつかの言語モデルに適用できるが、他のモデルには適用されない。
  論文  参考訳（メタデータ） (2024-06-05T16:36:21Z)
• Learning and Sustaining Shared Normative Systems via Bayesian Rule Induction in Markov Games [2.307051163951559]
  私たちは、組み込まれた人間の機関と柔軟に協力する学習エージェントを構築します。 共有規範を仮定することにより、新しく導入されたエージェントは、コンプライアンスと違反の観察から既存の人口の規範を推測することができる。 エージェントは規範に関する共通の知識をブートストラップできるため、このことは規範を広く定着させ、新しい参加者がこれらの規範を迅速に学習することを可能にする。
  論文  参考訳（メタデータ） (2024-02-20T21:58:40Z)
• Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective [55.36819597141271]
  逆強化学習(IRL: Inverse Reinforcement Learning)は、インテリジェントシステム開発において重要な役割を担う。 本稿では、サンプルとランタイムを用いて、バニラのオフラインおよびオンライン設定における効率的なIRLの最初のラインを提供する。 応用として、学習した報酬は適切な保証で他のターゲットMDPに転送可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-29T00:09:01Z)
• Socially Intelligent Genetic Agents for the Emergence of Explicit Norms [0.0]
  我々は、規範違反の説明を提供し、推論するエージェントを開発することによって、明示的な規範の出現に対処する。 これらのエージェントは遺伝的アルゴリズムを用いてノルムを生成し、強化学習を行い、これらのノルムの価値を学習する。 説明を適用すれば,エージェントの結束性や目標満足度が向上する規範が導かれることがわかった。
  論文  参考訳（メタデータ） (2022-08-07T18:48:48Z)
• Training Value-Aligned Reinforcement Learning Agents Using a Normative Prior [10.421378728492437]
  タスクパフォーマンスの指標のみをフィードバックとして使用することで、タスクを最適に実行するように訓練されたエージェントが、許容される行動や危害を引き起こす社会的規範に違反する可能性がある。 そこで我々は,標準的なタスクパフォーマンス報酬と規範的な行動報酬という2つの報酬信号を持つエージェントを訓練する,価値整合強化学習のアプローチを紹介する。 政策形成手法のバリエーションがこれら2つの報酬源をバランスさせ、効果的かつより規範的であると見なされる政策を生み出す方法を示す。
  論文  参考訳（メタデータ） (2021-04-19T17:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。