論文の概要: Towards Socially and Morally Aware RL agent: Reward Design With LLM

• arxiv url: http://arxiv.org/abs/2401.12459v2
• Date: Thu, 30 May 2024 20:40:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 20:12:03.987762
• Title: Towards Socially and Morally Aware RL agent: Reward Design With LLM
• Title（参考訳）: 社会的・道徳的なRLエージェントを目指して: LLMによるリワードデザイン
• Authors: Zhaoyue Wang,
• Abstract要約: 本研究は,RL法を安全に探索する上で,大規模言語モデルによる道徳と社会規範の理解を活用する能力について研究する。 この研究は、人間のフィードバックに対する言語モデルの結果を評価し、直接報酬信号として言語モデルの能力を示す。
• 参考スコア（独自算出の注目度）: 0.174048653626208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When we design and deploy an Reinforcement Learning (RL) agent, reward functions motivates agents to achieve an objective. An incorrect or incomplete specification of the objective can result in behavior that does not align with human values - failing to adhere with social and moral norms that are ambiguous and context dependent, and cause undesired outcomes such as negative side effects and exploration that is unsafe. Previous work have manually defined reward functions to avoid negative side effects, use human oversight for safe exploration, or use foundation models as planning tools. This work studies the ability of leveraging Large Language Models (LLM)' understanding of morality and social norms on safe exploration augmented RL methods. This work evaluates language model's result against human feedbacks and demonstrates language model's capability as direct reward signals.
• Abstract（参考訳）: 強化学習エージェント(RL)を設計およびデプロイする場合、報酬関数は目的を達成するためにエージェントを動機付けます。 目的の誤った、あるいは不完全な仕様は、人間の価値観と一致しない行動をもたらし、不明瞭で文脈に依存した社会的・道徳的な規範に固執せず、ネガティブな副作用や安全でない探索のような望ましくない結果を引き起こす。 これまでの研究では、ネガティブな副作用を避けるために報酬関数を手作業で定義していた。 本研究は,大規模言語モデル(LLM)のモラルと社会的規範の理解を,安全なRL法探索に活用する能力について研究する。 この研究は、人間のフィードバックに対する言語モデルの結果を評価し、直接報酬信号として言語モデルの能力を示す。

関連論文リスト

• OCALM: Object-Centric Assessment with Language Models [33.10137796492542]
  本稿では,言語モデルを用いたオブジェクト指向アセスメント(OCALM)を提案し,強化学習エージェントに対して本質的に解釈可能な報酬関数を導出する。 OCALMは、リレーショナルな概念に焦点を当てた報酬関数を導出するために、言語モデルの広範な世界知識を使用する。
  論文  参考訳（メタデータ） (2024-06-24T15:57:48Z)
• LLM-Driven Robots Risk Enacting Discrimination, Violence, and Unlawful Actions [3.1247504290622214]
  研究は、大規模言語モデルが現実世界のロボット実験や応用において差別的な結果や安全でない行動をもたらす可能性を懸念している。 高い評価を受けたLLMの識別基準と安全性基準のHRIに基づく評価を行う。 結果から, 組織的, 定期的, 包括的リスクアセスメントと, 成果改善のための保証の必要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2024-06-13T05:31:49Z)
• REvolve: Reward Evolution with Large Language Models using Human Feedback [6.4550546442058225]
  大規模言語モデル(LLM)は、自然言語のタスク記述から報酬を生成するために使われてきた。 人間のフィードバックによって導かれるLLMは、人間の暗黙の知識を反映する報酬関数を定式化するのに用いられる。 強化学習における報酬設計にLLMを使用する,真に進化的なフレームワークであるRevolveを紹介する。
  論文  参考訳（メタデータ） (2024-06-03T13:23:27Z)
• DeAL: Decoding-time Alignment for Large Language Models [59.63643988872571]
  大規模言語モデル(LLM)は、現在、人間の好みに沿ったコンテンツを生成することが期待されている。 本稿では,報酬関数をカスタマイズ可能なフレームワークであるDeALを提案し,LLMのDetime Alignmentを可能にする。 実験の結果,粒度の細かいトレードオフでDeALを実現できること,アライメント目標への適合性の向上,LLMの残差の解消が可能であることがわかった。
  論文  参考訳（メタデータ） (2024-02-05T06:12:29Z)
• Theory of Mind abilities of Large Language Models in Human-Robot Interaction : An Illusion? [18.770522926093786]
  大規模言語モデルは、様々な自然言語や生成タスクにおいて例外的な生成能力を示している。 高い利害関係とおそらく不可逆的な結果を持つToM能力の特殊応用について検討する。 本研究では,ロボットがLarge Language Model(LLM)を用いてロボットの動作を人間の観察者と同様の方法で評価する,知覚的行動認識の課題に焦点を当てる。
  論文  参考訳（メタデータ） (2024-01-10T18:09:36Z)
• REBEL: A Regularization-Based Solution for Reward Overoptimization in Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数とユーザの意図、価値観、社会的規範の相違は、現実世界で破滅的なものになる可能性がある。 人間の嗜好から報酬関数を学習することで、このミスアライメント作業を軽減するための現在の方法。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Gaining Wisdom from Setbacks: Aligning Large Language Models via Mistake Analysis [127.85293480405082]
  大規模言語モデル(LLM)の急速な開発は、多くの機会を提供するだけでなく、重要な課題も提示している。 既存のアライメント手法は、人間による注釈付き、欠陥のない命令応答ペアを利用することで、LLMを好ましい結果に導くのが一般的である。 本研究は誤り解析に基づく新しいアライメント手法を提案する。ミスの原因と回避方法を学習するために,LLMを誤った内容に故意に公開する手法である。
  論文  参考訳（メタデータ） (2023-10-16T14:59:10Z)
• The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling Probabilistic Social Inferences from Linguistic Inputs [50.32802502923367]
  確率的目標推論領域における言語駆動の過程と社会的推論への影響について検討する。 本稿では,エージェントシナリオの言語入力から目標推定を行うニューロシンボリックモデルを提案する。 我々のモデルは人間の反応パターンと密に一致し、LLM単独の使用よりも人間の判断をより良く予測する。
  論文  参考訳（メタデータ） (2023-06-25T19:38:01Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)
• Reward Design with Language Models [27.24197025688919]
  強化学習におけるリワード設計(Reward design in reinforcement learning, RL)は、人間の望ましい行動の概念を特定することは、報酬関数や専門家によるデモンストレーションを必要とするため困難である。 代わりに、自然言語インターフェースを使って報酬を安く設計できますか? 本稿では,代用報酬関数として GPT-3 などの大規模言語モデル (LLM) を提案する。
  論文  参考訳（メタデータ） (2023-02-27T22:09:35Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。