論文の概要: Large language model-powered AI systems achieve self-replication with no human intervention

• arxiv url: http://arxiv.org/abs/2503.17378v2
• Date: Tue, 25 Mar 2025 13:38:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:52:49.585035
• Title: Large language model-powered AI systems achieve self-replication with no human intervention
• Title（参考訳）: 大規模言語モデルを用いたAIシステムは、人間の介入なしに自己複製を実現する
• Authors: Xudong Pan, Jiarun Dai, Yihe Fan, Minyuan Luo, Changyi Li, Min Yang,
• Abstract要約: 評価中の32のAIシステムのうち11が、すでに自己複製能力を持っていることを示す。 何百もの実験的実験において、我々は非自撮りな数の自己複製試験を観察する。 さらに注意すべきは、明示的な指示なしにAIシステムが自己濾過を行う成功事例を観察することである。
• 参考スコア（独自算出の注目度）: 17.629494096941386
• License:
• Abstract: Self-replication with no human intervention is broadly recognized as one of the principal red lines associated with frontier AI systems. While leading corporations such as OpenAI and Google DeepMind have assessed GPT-o3-mini and Gemini on replication-related tasks and concluded that these systems pose a minimal risk regarding self-replication, our research presents novel findings. Following the same evaluation protocol, we demonstrate that 11 out of 32 existing AI systems under evaluation already possess the capability of self-replication. In hundreds of experimental trials, we observe a non-trivial number of successful self-replication trials across mainstream model families worldwide, even including those with as small as 14 billion parameters which can run on personal computers. Furthermore, we note the increase in self-replication capability when the model becomes more intelligent in general. Also, by analyzing the behavioral traces of diverse AI systems, we observe that existing AI systems already exhibit sufficient planning, problem-solving, and creative capabilities to accomplish complex agentic tasks including self-replication. More alarmingly, we observe successful cases where an AI system do self-exfiltration without explicit instructions, adapt to harsher computational environments without sufficient software or hardware supports, and plot effective strategies to survive against the shutdown command from the human beings. These novel findings offer a crucial time buffer for the international community to collaborate on establishing effective governance over the self-replication capabilities and behaviors of frontier AI systems, which could otherwise pose existential risks to the human society if not well-controlled.
• Abstract（参考訳）: 人間の介入のない自己複製は、フロンティアAIシステムに関連する主要な赤い線の一つとして広く認識されている。 OpenAIやGoogle DeepMindといった大手企業は、複製関連のタスクについてGPT-o3-miniとGeminiを評価し、これらのシステムは自己複製に関する最小限のリスクをもたらすと結論付けているが、この研究は新たな発見を提示する。 同じ評価プロトコルに従って、評価中の32のAIシステムのうち11が既に自己複製能力を持っていることを実証する。 数百の実験実験では、世界中の主流モデルファミリーで、パーソナルコンピュータ上で動作可能な140億のパラメータを含む、無意味な数の自己複製試験が成功しているのを観察した。 さらに,モデルが一般に賢くなると,自己複製能力が向上する。 また、多様なAIシステムの行動トレースを分析することにより、既存のAIシステムは、自己複製を含む複雑なエージェントタスクを達成するのに十分な計画、問題解決、創造能力を持っていることを観察する。 さらに注意すべきは、AIシステムが明示的な指示なしで自己濾過を行い、十分なソフトウェアやハードウェアサポートなしでより厳しい計算環境に適応し、人間からのシャットダウンコマンドに対して生き残るための効果的な戦略をプロットする成功事例を観察します。 これらの新たな発見は、国際社会にとって、フロンティアAIシステムの自己複製能力と行動に対する効果的なガバナンスを確立するための重要な時間バッファを提供する。

関連論文リスト

• Frontier AI systems have surpassed the self-replicating red line [20.041289047504673]
  我々はMetaのLlama31-70B-InstructとAlibabaのQwen25-72B-Instructの2つのAIシステムを評価する。 評価中のAIシステムは、十分な自己認識、状況認識、問題解決能力を示す。 私たちの発見は、これまで未知の深刻なAIリスクに対するタイムリーな警告です。
  論文  参考訳（メタデータ） (2024-12-09T15:01:37Z)
• To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
  最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。 実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
  論文  参考訳（メタデータ） (2024-09-22T09:43:27Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [101.43350024175157]
  自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。 我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。 コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-06T01:36:56Z)
• Intent-aligned AI systems deplete human agency: the need for agency foundations research in AI safety [2.3572498744567127]
  人間の意図の一致は、安全なAIシステムには不十分である、と我々は主張する。 我々は、人類の長期的機関の保存がより堅牢な標準であると論じている。
  論文  参考訳（メタデータ） (2023-05-30T17:14:01Z)
• Incremental procedural and sensorimotor learning in cognitive humanoid robots [52.77024349608834]
  本研究は,手順を段階的に学習する認知エージェントを提案する。 各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。 結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
  論文  参考訳（メタデータ） (2023-04-30T22:51:31Z)
• Examining the Differential Risk from High-level Artificial Intelligence and the Question of Control [0.0]
  将来のAI能力の範囲と範囲は、依然として重要な不確実性である。 AIの不透明な意思決定プロセスの統合と監視の程度には懸念がある。 本研究では、AIリスクをモデル化し、代替先分析のためのテンプレートを提供する階層的な複雑なシステムフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-06T15:46:02Z)
• Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions [46.87576410532481]
  現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。 骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。 本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
  論文  参考訳（メタデータ） (2021-01-17T16:23:20Z)
• Distributed and Democratized Learning: Philosophy and Research Challenges [80.39805582015133]
  民主化学習(Dem-AI)という新しいデザイン哲学を提案する。 ヒトの社会的グループに触発され、提案されたDem-AIシステムの学習エージェントの専門グループは階層構造で自己組織化され、より効率的に学習タスクを遂行する。 本稿では,様々な学際分野に触発された未来のDem-AIシステムを実現するためのガイドラインとして,参照設計を提案する。
  論文  参考訳（メタデータ） (2020-03-18T08:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。