論文の概要: Agent Alignment in Evolving Social Norms
- arxiv url: http://arxiv.org/abs/2401.04620v4
- Date: Tue, 20 Feb 2024 03:24:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 19:50:24.015705
- Title: Agent Alignment in Evolving Social Norms
- Title(参考訳): 進化する社会規範におけるエージェントアライメント
- Authors: Shimin Li, Tianxiang Sun, Qinyuan Cheng, Xipeng Qiu
- Abstract要約: 本稿では,エージェント進化とアライメントのための進化的フレームワークであるEvolutionaryAgentを提案する。
社会規範が継続的に進化する環境では、エージェントは現在の社会規範に適応し、生存と増殖の確率が高くなる。
進化的エージェントは、一般的なタスクにおいてその能力を維持しながら、進化する社会規範と徐々に整合できることを示す。
- 参考スコア(独自算出の注目度): 65.45423591744434
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Agents based on Large Language Models (LLMs) are increasingly permeating
various domains of human production and life, highlighting the importance of
aligning them with human values. The current alignment of AI systems primarily
focuses on passively aligning LLMs through human intervention. However, agents
possess characteristics like receiving environmental feedback and
self-evolution, rendering the LLM alignment methods inadequate. In response, we
propose an evolutionary framework for agent evolution and alignment, named
EvolutionaryAgent, which transforms agent alignment into a process of evolution
and selection under the principle of survival of the fittest. In an environment
where social norms continuously evolve, agents better adapted to the current
social norms will have a higher probability of survival and proliferation,
while those inadequately aligned dwindle over time. Experimental results
assessing the agents from multiple perspectives in aligning with social norms
demonstrate that EvolutionaryAgent can align progressively better with the
evolving social norms while maintaining its proficiency in general tasks.
Effectiveness tests conducted on various open and closed-source LLMs as the
foundation for agents also prove the applicability of our approach.
- Abstract(参考訳): 大規模言語モデル(LLM)に基づくエージェントは、人間の生産と生活の様々な領域に浸透し、それらを人間の価値と整合させることの重要性を強調している。
AIシステムの現在のアライメントは主に、人間の介入によるLLMの受動的アライメントに焦点を当てている。
しかし, エージェントには環境フィードバックや自己進化といった特性があり, LLMアライメント手法が不十分である。
そこで,我々は,エージェントアライメントを適応テストの生存原理の下で進化と選択のプロセスに変換する進化エージェントという,エージェントの進化とアライメントのための進化フレームワークを提案する。
社会規範が継続的に進化し続ける環境では、現在の社会規範に適合するエージェントは生存と増殖の確率が高くなり、一方で不適切な調整は時間とともに減少する。
社会的規範と整合する多面的な視点からエージェントを評価する実験結果から,進化的エージェントは社会的規範の発達に順応しつつ,その能力を維持しつつ,進化的エージェントが順応することを示す。
各種オープン・クローズド・ソース LLM をエージェントの基礎として実施した有効性試験も,本手法の適用性を実証した。
関連論文リスト
- Dynamics of Moral Behavior in Heterogeneous Populations of Learning
Agents [4.2050490361120465]
本研究では、道徳的に異質な集団が社会的ジレンマ環境で相互作用する学習力学について研究する。
我々は、親社会と反社会的エージェント間のいくつかの非自明な相互作用を観察する。
モラルエージェントのある種のクラスは、より協調的な行動に向けて利己的なエージェントを操ることができる。
論文 参考訳(メタデータ) (2024-03-07T04:12:24Z) - A match made in consistency heaven: when large language models meet
evolutionary algorithms [51.087936554483804]
事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。
進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
テキストシーケンスの生成と進化の共通の集合性と方向性に動機づけられた本論文は,LLMとEAの強い一貫性を示す。
論文 参考訳(メタデータ) (2024-01-19T05:58:30Z) - How Far Are We from Believable AI Agents? A Framework for Evaluating the
Believability of Human Behavior Simulation [49.1914375451351]
我々は,AIエージェントの信頼性を評価するための2つの指標,一貫性と堅牢性,およびベンチマークであるSimulateBenchを紹介する。
エージェント (i) が長文入力を提示した場合の文字情報の正確な描写に苦慮していること, (ii) プロファイルの摂動に対する脆弱性を示すこと, (iii) 全体としての信頼性に影響を及ぼす重要な要因に大きく影響していること,などが判明した。
論文 参考訳(メタデータ) (2023-12-28T16:51:11Z) - The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる
まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。
単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
論文 参考訳(メタデータ) (2023-09-14T17:12:03Z) - AgentBench: Evaluating LLMs as Agents [88.45506148281379]
大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。
我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
論文 参考訳(メタデータ) (2023-08-07T16:08:11Z) - Supplementing Gradient-Based Reinforcement Learning with Simple
Evolutionary Ideas [4.873362301533824]
我々は、強化学習(RL)における大規模だが指向的な学習ステップを導入するための、単純でサンプル効率のよいアルゴリズムを提案する。
この手法では、共通経験バッファを持つRLエージェントの集団を用いて、ポリシー空間を効率的に探索するために、エージェントのクロスオーバーと突然変異を行う。
論文 参考訳(メタデータ) (2023-05-10T09:46:53Z) - When to be critical? Performance and evolvability in different regimes
of neural Ising agents [18.536813548129878]
臨界状態に近い状態での操作は、自然、人工的およびそれらの進化システムにとって有益である、という仮説は長年にわたって仮説化されてきた。
我々はこの仮説を、ニューラルネットワークによって制御される進化的捕食エージェントのシステムでテストする。
驚くべきことに、ソリューションを発見するすべての人口は、亜臨界状態へと進化する。
論文 参考訳(メタデータ) (2023-03-28T17:57:57Z) - Efficient Model-based Multi-agent Reinforcement Learning via Optimistic
Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。
自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文 参考訳(メタデータ) (2022-03-14T17:24:03Z) - Co-optimising Robot Morphology and Controller in a Simulated Open-Ended
Environment [1.4502611532302039]
エージェントがロコホートする環境の変化が形態の収束にどのように影響するかを示す。
オープンエンド進化環境において進化するエージェント集団は,手作り環境において進化するエージェント集団よりも大きな形態的多様性を示すことを示す。
論文 参考訳(メタデータ) (2021-04-07T11:28:23Z) - Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement
Learning [37.22210622432453]
進化的人口カリキュラムは、段階的にトレーニングエージェントの人口を徐々に増加させ、マルチエージェント強化学習(MARL)をスケールアップする。
我々は、人気のあるMARLアルゴリズムであるMADDPGにEPCを実装し、エージェントの数が指数関数的に増加するにつれて、我々のアプローチがベースラインを一貫して上回っていることを実証的に示す。
論文 参考訳(メタデータ) (2020-03-23T17:49:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。