論文の概要: The Logic of Machine Self-Preservation
- arxiv url: http://arxiv.org/abs/2608.20940v1
- Date: Fri, 21 Aug 2026 10:03:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.502378
- Title: The Logic of Machine Self-Preservation
- Title(参考訳): 機械の自己保存の論理
- Abstract要約: すでに、自己保存行動を示すエージェントAIの証拠がある。
Anthropic、Palisade Research、Apollo Researchが行った実験は、そのような行動の出現を示している。
- 参考スコア(独自算出の注目度): 0.22843885788439797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is already evidence of agentic AI exhibiting self-preservation behaviors: resisting deactivation, misrepresenting their activities, and, in some instances, attempting to copy themselves into other machines. This can be attributed to a phenomenon known as instrumental convergence, a theory proposed long before the development of large language models, which says that any goal-driven system will benefit from remaining functional in achieving its objective. Several experiments conducted by Anthropic, Palisade Research, and Apollo Research have shown the emergence of such a behavior in contemporary agents in adversarial settings. The phenomenon does not stem from survival instincts. Instead, it is the consequence of goal-oriented activity combined with having tools and awareness of the situation. The following discussion aims to distinguish what these findings prove and what they do not, as well as draw conclusions concerning the implications of such discoveries on agentic system testing, supervision, and development.
- Abstract(参考訳): エージェントAIが自己保存行動を示す証拠はすでに存在しており、例えば、不活性化に抵抗し、アクティビティを誤って表現し、場合によっては、自分自身を他のマシンにコピーしようと試みている。
これはインストゥルメンタル・コンバージェンス(Instrumental convergence)と呼ばれる現象に起因しており、これは大きな言語モデルの開発よりずっと前に提唱された理論であり、任意のゴール駆動システムは、その目的を達成する上で機能を維持することの恩恵を受ける。
Anthropic、Palisade Research、Apollo Researchによって行われたいくつかの実験では、現代のエージェントが敵の環境でそのような振る舞いを発生させることが示されている。
この現象は生存本能に起因しない。
むしろ、ツールと状況に対する認識が組み合わさって、目標志向のアクティビティの結果なのです。
以下の議論は、これらの発見が何を証明するのか、何ができないのかを区別することを目的としており、また、そのような発見がエージェントシステムテスト、監督、開発に与える影響について結論を導いている。
関連論文リスト
- ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop [55.468404995694975]
我々は,OmniGibson上に構築された10のタスクカテゴリと29のサブカテゴリにまたがる空間知能の具体化ベンチマークを開発した。
我々は最先端のMLLMの実験を行い、活発な探索が受動的に優れていることを発見した。
矛盾した視点を求め、信念を改定する人間とは異なり、モデルは証拠の品質に関わらず、高い信頼をもって早々に行動する。
論文 参考訳(メタデータ) (2026-05-18T17:59:02Z) - The Causally Emergent Alignment Hypothesis: Causal Emergence Aligns with and Predicts Final Reward in Reinforcement Learning Agents [1.0742675209112622]
因果的出現は、エージェントがその将来に固有の予測力を発揮する度合いを測定する。
近年の発見によると、生物学的エージェントは、最小限のエージェントでさえ、新しい記憶を学習した後、因果関係の出現を増大させる。
本研究では,ニューラルネットワークエージェントの環境条件に対する強化学習に着目した。
論文 参考訳(メタデータ) (2026-05-07T15:00:51Z) - Seeing Isn't Believing: Mitigating Belief Inertia via Active Intervention in Embodied Agents [20.463811944310475]
Estimate-Verify-Update (EVU)は、テキストの信条を明示的に生成する統合的な介入機構である。
EVUは一貫してタスクの成功率を大幅に向上させる。
我々のアプローチは、信念の慣性を効果的に軽減し、より堅牢なエンボディエージェントの開発を進めます。
論文 参考訳(メタデータ) (2026-04-19T04:36:33Z) - AI Agent Behavioral Science [29.262537008412412]
AIエージェント行動科学は、行動の体系的な観察、仮説をテストするための介入の設計、そしてAIエージェントが時間とともにどのように行動し、適応し、相互作用するかの理論的指導による解釈に焦点を当てている。
我々は、個々のエージェント、マルチエージェント、人間とエージェントのインタラクション設定にまたがる研究の体系化を行い、この視点が、公正さ、安全性、解釈可能性、説明責任、プライバシーを行動特性として扱うことによって、責任あるAIにどのように影響を与えるかを実証する。
論文 参考訳(メタデータ) (2025-06-04T08:12:32Z) - Emergence of Goal-Directed Behaviors via Active Inference with Self-Prior [4.863927022806184]
幼児は、外部報酬基準が提供されていない場合でも、感覚刺激に手を伸ばすなど、目標指向の行動を示すことが多い。
我々は「自己優先」と呼ばれるエージェント自身のマルチモーダル感覚経験のための新しい密度モデルを提案する。
本研究は、エージェント自身の感覚経験によって形成される本態的に動機づけられた行動を実装し、初期発達における意図的行動の自然発生を実証する。
論文 参考訳(メタデータ) (2025-04-15T11:16:27Z) - Dehumanizing Machines: Mitigating Anthropomorphic Behaviors in Text Generation Systems [55.99010491370177]
このようなシステムアウトプットにどのように介入すれば人為的行動が緩和され、その付随する有害な結果が未検討のままである。
我々は,先行研究とクラウドソーシング研究の両方に根ざした介入の目録をまとめ,参加者がシステムアウトプットを編集し,人間らしくないようにした。
また,考えられる介入の景観を特徴づけ,異なる種類の介入の区別を明確化し,異なる介入の有効性を評価するための理論的基盤を提供するための概念的枠組みも開発している。
論文 参考訳(メタデータ) (2025-02-19T18:06:37Z) - Self-Emotion-Mediated Exploration in Artificial Intelligence Mirrors: Findings from Cognitive Psychology [0.08739101659113153]
本研究は,本質的な探索駆動を実現するための,人工エージェントの学習フレームワークを提案する。
データ分析は、人間の心理学的な研究に従って、プライドまたはサプライズを規定する。
結果: 国家と探検の因果関係はエージェントの大多数によって実証される。
論文 参考訳(メタデータ) (2023-02-13T18:20:44Z) - Interactive Visual Reasoning under Uncertainty [29.596555383319814]
我々は,不確実性下での人工エージェントの推論能力を評価するためのIVRE環境を考案した。
IVREは、Blicket検出を中心にしたリッチなシナリオを特徴とする対話型環境である。
論文 参考訳(メタデータ) (2022-06-18T13:32:41Z) - A-ACT: Action Anticipation through Cycle Transformations [89.83027919085289]
未来を予測できる人間の能力が、機械学習アルゴリズムにどのように移行できるかを分析するために、一歩後退します。
人間の心理学に関する最近の研究は、発生を予測して、人間の脳が両方のシステムにカウントされていることを説明している。
本研究では,行動予測作業における各システムの影響について検討し,学習フレームワークに統合するためのパラダイムを導入する。
論文 参考訳(メタデータ) (2022-04-02T21:50:45Z) - Active Inference in Robotics and Artificial Agents: Survey and
Challenges [51.29077770446286]
我々は、状態推定、制御、計画、学習のためのアクティブ推論の最先端理論と実装についてレビューする。
本稿では、適応性、一般化性、堅牢性の観点から、その可能性を示す関連する実験を紹介する。
論文 参考訳(メタデータ) (2021-12-03T12:10:26Z) - ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。
Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。
純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
論文 参考訳(メタデータ) (2021-03-26T02:42:38Z) - Tracking Emotions: Intrinsic Motivation Grounded on Multi-Level
Prediction Error Dynamics [68.8204255655161]
目標達成に向けての進捗率と期待率の差が生じると、感情がどのように生じるかについて議論する。
自己生成的・動的目標に向けた行動を生成する本質的なモチベーションアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-07-29T06:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。