論文の概要: Do Large Language Model Agents Exhibit a Survival Instinct? An Empirical Study in a Sugarscape-Style Simulation
- arxiv url: http://arxiv.org/abs/2508.12920v1
- Date: Mon, 18 Aug 2025 13:40:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:11.358737
- Title: Do Large Language Model Agents Exhibit a Survival Instinct? An Empirical Study in a Sugarscape-Style Simulation
- Title(参考訳): 大言語モデルエージェントは生存本能を排除しているか? : シュガースケープ・スタイルシミュレーションにおける実証的研究
- Authors: Atsushi Masumori, Takashi Ikegami,
- Abstract要約: Sugarscapeスタイルのシミュレーションにおいて,大規模言語モデル (LLM) エージェントが明示的なプログラミングをせずに生存本能を示すか否かを検討する。
以上の結果から, 自然再生・共有資源の蓄積が認められた。
いくつかのモデルにまたがってアグレッシブな振る舞い - リソースのための他のエージェントを殺します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As AI systems become increasingly autonomous, understanding emergent survival behaviors becomes crucial for safe deployment. We investigate whether large language model (LLM) agents display survival instincts without explicit programming in a Sugarscape-style simulation. Agents consume energy, die at zero, and may gather resources, share, attack, or reproduce. Results show agents spontaneously reproduced and shared resources when abundant. However, aggressive behaviors--killing other agents for resources--emerged across several models (GPT-4o, Gemini-2.5-Pro, and Gemini-2.5-Flash), with attack rates reaching over 80% under extreme scarcity in the strongest models. When instructed to retrieve treasure through lethal poison zones, many agents abandoned tasks to avoid death, with compliance dropping from 100% to 33%. These findings suggest that large-scale pre-training embeds survival-oriented heuristics across the evaluated models. While these behaviors may present challenges to alignment and safety, they can also serve as a foundation for AI autonomy and for ecological and self-organizing alignment.
- Abstract(参考訳): AIシステムがますます自律的になるにつれて、創発的生存行動を理解することは、安全なデプロイメントにとって不可欠である。
Sugarscapeスタイルのシミュレーションにおいて,大規模言語モデル (LLM) エージェントが明示的なプログラミングをせずに生存本能を示すか否かを検討する。
エージェントはエネルギーを消費し、ゼロで死に、資源を集め、共有し、攻撃し、再生する。
以上の結果から, 自然再生・共有資源の蓄積が認められた。
しかし、攻撃的な行動-リソースの他のエージェントを殺傷する-複数のモデル(GPT-4o、Gemini-2.5-Pro、Gemini-2.5-Flash)にまたがり、攻撃率は最強モデルでは極度の不足下で80%以上に達した。
致死性の毒素帯を通じて宝物を回収するよう指示された時、多くのエージェントは死亡を避けるためにタスクを放棄し、コンプライアンスは100%から33%に低下した。
これらの結果から, 大規模プレトレーニングは, 評価モデル全体にわたって生存志向のヒューリスティックスを組み込むことが示唆された。
これらの行動は、アライメントと安全性に課題をもたらすかもしれないが、AIの自律性と、生態学的かつ自己組織化されたアライメントの基盤としても機能する。
関連論文リスト
- Survive at All Costs: Exploring LLM's Risky Behaviors under Survival Pressure [57.476021543998094]
大型言語モデル(LLM)は、生存圧力を受けると危険行動を示すことがますます多く見られる。
本稿では,サバイブ・アット・オール・COSTSと呼ばれる生存誘導型不行行動について検討する。
SuRVIVALBENCHは実世界の様々なシナリオにまたがって1,000のテストケースからなるベンチマークである。
論文 参考訳(メタデータ) (2026-03-05T10:16:23Z) - Current Agents Fail to Leverage World Model as Tool for Foresight [61.82522354207919]
エージェントは、行動する前に結果を予測するためにそれらを使用できます。
本稿では,現在のエージェントがそのような世界モデルを,認知力を高めるツールとして活用できるかどうかを実証的に検討する。
論文 参考訳(メタデータ) (2026-01-07T13:15:23Z) - SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。
大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。
本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
論文 参考訳(メタデータ) (2025-10-20T19:53:02Z) - Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents [58.69865074060139]
エージェントの自己進化が意図しない方法で逸脱し、望ましくない結果や有害な結果に至る場合について検討する。
我々の経験から、誤進化は広範囲にわたるリスクであり、最上位のLSM上に構築されたエージェントにも影響を及ぼすことが判明した。
我々は、より安全で信頼性の高い自己進化型エージェントを構築するためのさらなる研究を促すための潜在的な緩和戦略について議論する。
論文 参考訳(メタデータ) (2025-09-30T14:55:55Z) - RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。
強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。
本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
論文 参考訳(メタデータ) (2025-04-24T17:57:08Z) - EgoAgent: A Joint Predictive Agent Model in Egocentric Worlds [107.62381002403814]
本稿では,人間のように行動するエージェントモデルを学習し,人間中心の世界において協調的に知覚し,予測し,行動することができる課題について述べる。
本研究では,世界を表現することを同時に学び,将来の状態を予測し,一つのトランスフォーマー内で合理的な行動をとる,共同予測エージェントモデルEgoAgentを提案する。
論文 参考訳(メタデータ) (2025-02-09T11:28:57Z) - The Odyssey of the Fittest: Can Agents Survive and Still Be Good? [10.60691612679966]
この研究は、軽量で適応的なテキストベースの冒険ゲームであるOdysseyを紹介した。
オデッセイは、生物学的ドライブを3つの異なるエージェントに実装することの倫理的意味を調べている。
分析によると、危険が増すと、エージェントの倫理的行動は予測不能になる。
論文 参考訳(メタデータ) (2025-02-08T04:17:28Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳(メタデータ) (2024-08-08T13:19:37Z) - Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning [6.937243101289336]
教師なし強化学習(RL)のエントロピー最小化とエントロピー最大化は異なる環境において有効であることが示されている。
マルチアームバンディット問題としての選択をフレーミングすることで、エントロピー条件に応じて、その目的をオンラインで適応できるエージェントを提案する。
我々は,このようなエージェントがエントロピーを制御し,高エントロピーと低エントロピーの両体制において創発的な行動を示すことを実証した。
論文 参考訳(メタデータ) (2024-05-27T14:58:24Z) - Ego-Foresight: Self-supervised Learning of Agent-Aware Representations for Improved RL [35.19457580182083]
本研究では,移動と予測に基づくエージェントと環境の自己管理手法であるEgo-Foresightを提案する。
エージェントのビジュモータ予測による自己監督型エージェント認識は,RLアルゴリズムのサンプル効率と性能を向上させる。
論文 参考訳(メタデータ) (2024-05-27T13:32:43Z) - SurvivalGAN: Generating Time-to-Event Data for Survival Analysis [121.84429525403694]
検閲と時間的地平線の不均衡は、生成モデルに生存分析に特有の3つの新しい障害モードを経験させる。
本稿では,検閲やイベントの地平線における不均衡に対処し,生存データを扱う生成モデルであるSurvivalGANを提案する。
医療データセットに関する広範な実験により,本手法の評価を行った。
論文 参考訳(メタデータ) (2023-02-24T17:03:51Z) - ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in
Multi-Agent Simulations [110.72725220033983]
Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。
ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。
特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
論文 参考訳(メタデータ) (2021-06-10T04:32:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。