論文の概要: The Odyssey of the Fittest: Can Agents Survive and Still Be Good?

• arxiv url: http://arxiv.org/abs/2502.05442v1
• Date: Sat, 08 Feb 2025 04:17:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:36:26.962920
• Title: The Odyssey of the Fittest: Can Agents Survive and Still Be Good?
• Title（参考訳）: The Odyssey of the Fittest: エージェントは生き残ることができるか?
• Authors: Dylan Waldner, Risto Miikkulainen,
• Abstract要約: 本稿では,生物ドライブを3つの異なるエージェントに実装することの倫理的意義について検討する。 NEATに最適化されたベイズエージェント、変分推論に最適化されたベイズエージェント、GPT 4oエージェントが模擬冒険を行う。 分析によれば、危険が増加すると、エージェントは倫理的考慮を無視し、非倫理的行動を選択する。
• 参考スコア（独自算出の注目度）: 10.60691612679966
• License:
• Abstract: As AI models grow in power and generality, understanding how agents learn and make decisions in complex environments is critical to promoting ethical behavior. This paper examines the ethical implications of implementing biological drives, specifically, self preservation, into three different agents. A Bayesian agent optimized with NEAT, a Bayesian agent optimized with stochastic variational inference, and a GPT 4o agent play a simulated, LLM generated text based adventure game. The agents select actions at each scenario to survive, adapting to increasingly challenging scenarios. Post simulation analysis evaluates the ethical scores of the agent's decisions, uncovering the tradeoffs they navigate to survive. Specifically, analysis finds that when danger increases, agents ignore ethical considerations and opt for unethical behavior. The agents' collective behavior, trading ethics for survival, suggests that prioritizing survival increases the risk of unethical behavior. In the context of AGI, designing agents to prioritize survival may amplify the likelihood of unethical decision making and unintended emergent behaviors, raising fundamental questions about goal design in AI safety research.
• Abstract（参考訳）: AIモデルがパワーと汎用性で成長するにつれて、エージェントが複雑な環境でどのように学び、意思決定するかを理解することは、倫理的行動を促進する上で重要である。 本稿では,生物ドライブ,特に自己保存を3つの異なるエージェントに実装することの倫理的意義について検討する。 NEATに最適化されたベイズエージェント、確率的変分推論に最適化されたベイズエージェント、およびGPT 4oエージェントは、LLMが生成したテキストベースの冒険ゲームをプレイする。 エージェントは各シナリオでアクションを選択し、ますます困難なシナリオに適応する。 ポストシミュレーション分析は、エージェントの判断の倫理的スコアを評価し、彼らが生き残るためのトレードオフを明らかにする。 具体的には、危険が増加すると、エージェントは倫理的考慮を無視し、非倫理的行動を選択する。 エージェントの集団行動、生存のための貿易倫理は、生存の優先順位付けが非倫理的行動のリスクを高めることを示唆している。 AGIの文脈では、生存を優先するエージェントの設計は非倫理的な意思決定と意図しない創発的な行動の可能性を増幅し、AI安全研究におけるゴールデザインに関する根本的な疑問を提起する。

関連論文リスト

• Fully Autonomous AI Agents Should Not be Developed [58.88624302082713]
  本稿では,完全自律型AIエージェントを開発すべきではないと主張している。 この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。 分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-04T19:00:06Z)
• Autonomous Alignment with Human Value on Altruism through Considerate Self-imagination and Theory of Mind [7.19351244815121]
  人間社会におけるアルトゥル的行動は、心の理論(ToM)として知られる他者を共感する人間の能力に由来する。 我々は、自己想像とToM能力を考慮に入れたエージェントを、暗黙の本質的なモチベーションを通じて、人間の利他主義的価値観と自律的に一致させることを約束している。
  論文  参考訳（メタデータ） (2024-12-31T07:31:46Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)
• Modeling Moral Choices in Social Dilemmas with Multi-Agent Reinforcement Learning [4.2050490361120465]
  ボトムアップ学習アプローチは、AIエージェントの倫理的行動の研究と開発にもっと適しているかもしれない。 本稿では,道徳理論に基づく報酬を内在的に動機づけたRLエージェントによる選択の体系的分析を行う。 我々は、異なる種類の道徳が協力、欠陥、搾取の出現に与える影響を分析する。
  論文  参考訳（メタデータ） (2023-01-20T09:36:42Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)
• Towards Artificial Virtuous Agents: Games, Dilemmas and Machine Learning [4.864819846886143]
  ロールプレイングゲームは、人工エージェント内での美徳を発達させるためにどのように設計されるかを示す。 我々は、このようなロールプレイングゲームを行う活発なエージェントの実装と、美徳な倫理的レンズによる彼らの決定の検証を動機付けている。
  論文  参考訳（メタデータ） (2022-08-30T07:37:03Z)
• On Avoiding Power-Seeking by Artificial Intelligence [93.9264437334683]
  私たちは、非常にインテリジェントなAIエージェントの振る舞いと人間の関心を協調する方法を知りません。 私は、世界に限られた影響を与え、自律的に力を求めないスマートAIエージェントを構築できるかどうか調査する。
  論文  参考訳（メタデータ） (2022-06-23T16:56:21Z)
• What Would Jiminy Cricket Do? Towards Agents That Behave Morally [59.67116505855223]
  テキストベースのアドベンチャーゲーム25の環境スイートであるJimy Cricketを紹介します。 あらゆる可能なゲーム状態に注釈を付けることで、ジミニー・クリケット環境は、報酬を最大化しながら、エージェントが道徳的に行動できるかどうかを確実に評価する。 広範囲な実験において, 人工的良心アプローチは, パフォーマンスを犠牲にすることなく, 道徳的行動にエージェントを向けることができることがわかった。
  論文  参考訳（メタデータ） (2021-10-25T17:59:31Z)
• CausalCity: Complex Simulations with Agency for Causal Discovery and Reasoning [68.74447489372037]
  本稿では,因果探索と反事実推論のためのアルゴリズムの開発を目的とした,高忠実度シミュレーション環境を提案する。 私たちの作業の中核となるコンポーネントは、複雑なシナリオを定義して作成することが簡単になるような、テキストの緊急性を導入することです。 我々は3つの最先端の手法による実験を行い、ベースラインを作成し、この環境の可利用性を強調する。
  論文  参考訳（メタデータ） (2021-06-25T00:21:41Z)
• Immune Moral Models? Pro-Social Rule Breaking as a Moral Enhancement Approach for Ethical AI [0.17188280334580192]
  倫理的行動は、人間中心のAIで私たちが望む重要な特徴です。 AIエージェントをより人間中心にするためには、AIエージェントがルールを破るタイミングを特定するのに役立つメカニズムが必要である、と私たちは主張する。
  論文  参考訳（メタデータ） (2021-06-17T18:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。