Fugu-MT 論文翻訳(概要): Moral Alignment for LLM Agents

論文の概要: Moral Alignment for LLM Agents

arxiv url: http://arxiv.org/abs/2410.01639v2
Date: Mon, 02 Dec 2024 14:25:30 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-03 16:57:11.629009
Title: Moral Alignment for LLM Agents
Title（参考訳）: LLM剤のモルアライメント
Authors: Elizaveta Tennant, Stephen Hailes, Mirco Musolesi,
Abstract要約: 本稿では,基礎エージェントモデルの微調整による強化学習のためのコアヒューマン値を明示的に符号化する報酬関数の設計を紹介する。我々は,Deontological EthicsとUtilitarianismの伝統的な哲学的枠組みを用いて,我々のアプローチを評価する。我々は、エージェントが以前開発された自己中心的な戦略を解き放つことを可能にするために、いかに道徳的な微調整を展開できるかを示す。
参考スコア（独自算出の注目度）: 3.7414804164475983
License:
Abstract: Decision-making agents based on pre-trained Large Language Models (LLMs) are increasingly being deployed across various domains of human activity. While their applications are currently rather specialized, several research efforts are under way to develop more generalist agents. As LLM-based systems become more agentic, their influence on human activity will grow and the transparency of this will decrease. Consequently, developing effective methods for aligning them to human values is vital. The prevailing practice in alignment often relies on human preference data (e.g., in RLHF or DPO), in which values are implicit and are essentially deduced from relative preferences over different model outputs. In this work, instead of relying on human feedback, we introduce the design of reward functions that explicitly encode core human values for Reinforcement Learning-based fine-tuning of foundation agent models. Specifically, we use intrinsic rewards for the moral alignment of LLM agents. We evaluate our approach using the traditional philosophical frameworks of Deontological Ethics and Utilitarianism, quantifying moral rewards for agents in terms of actions and consequences on the Iterated Prisoner's Dilemma (IPD) environment. We also show how moral fine-tuning can be deployed to enable an agent to unlearn a previously developed selfish strategy. Finally, we find that certain moral strategies learned on the IPD game generalize to several other matrix game environments. In summary, we demonstrate that fine-tuning with intrinsic rewards is a promising general solution for aligning LLM agents to human values, and it might represent a more transparent and cost-effective alternative to currently predominant alignment techniques.
Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)に基づく意思決定エージェントは、人間の活動の様々な領域に展開されつつある。現在、それらの応用は比較的特殊なものであるが、より汎用的なエージェントを開発するためにいくつかの研究が進行中である。 LLMベースのシステムがよりエージェント的になるにつれて、人間の活動に対する影響が増大し、その透明性が低下する。そのため、人的価値に整合させる効果的な方法の開発が不可欠である。アライメントにおける一般的な実践は、しばしば人間の嗜好データ(例えば、RLHFやDPO)に依存し、その値は暗黙的であり、本質的に異なるモデル出力に対する相対的な嗜好から導かれる。本研究では,人間からのフィードバックに頼らずに,強化学習モデルに基づく基礎エージェントモデルの微調整のために,コアヒューマン価値を明示的に符号化する報酬関数の設計を導入する。具体的には、LLMエージェントの道徳的アライメントに固有の報酬を用いる。我々は, エージェントに対する道徳的報酬を, 反復刑務所のジレンマ(IPD)環境における行動や結果の観点から定量化する。また、エージェントが以前開発された利己的な戦略を解き放つために、いかに道徳的な微調整を展開できるかを示す。最後に、IDDゲームで学んだある道徳的戦略が、他のいくつかのマトリックスゲーム環境に一般化されることを見出した。要約すると、本質的な報酬を伴う微調整は、LLMエージェントを人的価値に合わせるための有望な一般的なソリューションであり、現在支配的なアライメント技術よりも透明性とコスト効率のよい代替手段であることを示している。

関連論文リスト

From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
MoralBench: Moral Evaluation of LLMs [34.43699121838648]
本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。 LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
論文参考訳（メタデータ） (2024-06-06T18:15:01Z)
Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文参考訳（メタデータ） (2024-04-19T09:44:51Z)
DeAL: Decoding-time Alignment for Large Language Models [59.63643988872571]
大規模言語モデル(LLM)は、現在、人間の好みに沿ったコンテンツを生成することが期待されている。本稿では,報酬関数をカスタマイズ可能なフレームワークであるDeALを提案し,LLMのDetime Alignmentを可能にする。実験の結果,粒度の細かいトレードオフでDeALを実現できること,アライメント目標への適合性の向上,LLMの残差の解消が可能であることがわかった。
論文参考訳（メタデータ） (2024-02-05T06:12:29Z)
Agent Alignment in Evolving Social Norms [65.45423591744434]
本稿では,エージェント進化とアライメントのための進化的フレームワークであるEvolutionaryAgentを提案する。社会規範が継続的に進化する環境では、エージェントは現在の社会規範に適応し、生存と増殖の確率が高くなる。進化的エージェントは、一般的なタスクにおいてその能力を維持しながら、進化する社会規範と徐々に整合できることを示す。
論文参考訳（メタデータ） (2024-01-09T15:44:44Z)
Aligning Large Language Models with Human Preferences through Representation Engineering [41.81020951061438]
表現工学(RepE)の新たな分野から着想を得た本研究は,LLM内の活動パターンに埋め込まれた高レベルの人間の嗜好の関連表現を特定することを目的としている。この新しいアプローチは、人間フィードバックからの表現アライメント(Representation Alignment from Human Feedback、RAHF)と呼ばれ、効果的で、計算的に効率的で、実装が容易であることが証明されている。
論文参考訳（メタデータ） (2023-12-26T11:01:36Z)
Denevil: Towards Deciphering and Navigating the Ethical Values of Large Language Models via Instruction Learning [36.66806788879868]
大きな言語モデル(LLM)は前例のない突破口をたどったが、彼らの日常生活への統合は非倫理的コンテンツによって社会的リスクを引き起こす可能性がある。この研究はモラル・ファンデーション理論を利用した倫理的価値を論じている。
論文参考訳（メタデータ） (2023-10-17T07:42:40Z)
SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
論文参考訳（メタデータ） (2023-10-09T17:56:53Z)
Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
論文参考訳（メタデータ） (2023-04-06T17:59:03Z)
Modeling Moral Choices in Social Dilemmas with Multi-Agent Reinforcement Learning [4.2050490361120465]
ボトムアップ学習アプローチは、AIエージェントの倫理的行動の研究と開発にもっと適しているかもしれない。本稿では,道徳理論に基づく報酬を内在的に動機づけたRLエージェントによる選択の体系的分析を行う。我々は、異なる種類の道徳が協力、欠陥、搾取の出現に与える影響を分析する。
論文参考訳（メタデータ） (2023-01-20T09:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。