論文の概要: Instrumental convergence and power-seeking
- arxiv url: http://arxiv.org/abs/2606.08832v1
- Date: Sun, 07 Jun 2026 20:52:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.473776
- Title: Instrumental convergence and power-seeking
- Title(参考訳): インストゥルメンタルコンバージェンスとパワーセーキング
- Authors: David Thorstad,
- Abstract要約: パワーセーキングの議論は、インストゥルメンタル・コンバージェンス・テーゼとして知られる主張の強いバージョンにどのように依存しているかを示す。
本論では, 長期性, 人工知能のガバナンス, 人工エージェントによるリスク研究の方法論について論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have seen increasing concern that artificial intelligence may soon pose an existential risk to humanity. One leading ground for concern is that artificial agents may be power-seeking, aiming to acquire power and in the process disempowering humanity. I show how the argument from power-seeking rests on a strong version of a claim known as the instrumental convergence thesis. I explore leading defenses of the instrumental convergence thesis and argue that none establishes the thesis in a strong enough form to ground the argument from power-seeking. I discuss implications for longtermism, the governance of artificial intelligence, and the methodology of studying risks posed by artificial agents.
- Abstract(参考訳): 近年、人工知能が人類に生命の危険をもたらすのではないかという懸念が高まっている。
懸念事項の1つは、人為的エージェントが力を求めることであり、権力を獲得し、人類を征服する過程にあるということである。
パワーセーキングの議論は、インストゥルメンタル・コンバージェンス・テーゼとして知られる主張の強いバージョンにどのように依存しているかを示す。
私は器楽収束論の先導的な防衛を探求し、力の探究から議論を根ざすのに十分なほど強い形式で論証を確立する者はいないと論じる。
本論では, 長期性, 人工知能のガバナンス, 人工エージェントによるリスク研究の方法論について論じる。
関連論文リスト
- Will artificial agents pursue power by default? [0.0]
先進的なAIによる破滅的なリスクを心配する研究者たちは、人類に対する権力を追求するために十分な能力を持つAIエージェントを期待すべきだと主張した。
本稿では,機器収束と電力探索の概念を抽象的・決定論的枠組みで定式化することを目的とする。
私はこの主張が少なくとも真実の要素を含んでいると結論づけるが、予測実用性に限界があるかもしれない。
論文 参考訳(メタデータ) (2025-06-02T18:54:18Z) - Must Read: A Systematic Survey of Computational Persuasion [60.83151988635103]
AI駆動の説得は、有益なアプリケーションに活用することができるが、操作と非倫理的な影響を通じて脅威を引き起こす。
本調査では,AIによる説得の安全性,公平性,有効性を高めるための今後の研究方針について概説する。
論文 参考訳(メタデータ) (2025-05-12T17:26:31Z) - Hype, Sustainability, and the Price of the Bigger-is-Better Paradigm in AI [67.58673784790375]
AIパラダイムは、科学的に脆弱なだけでなく、望ましくない結果をもたらすものだ、と私たちは主張する。
第一に、効率の改善にもかかわらず、その計算要求はモデルの性能よりも速く増加するため、持続可能ではない。
第二に、健康、教育、気候などの重要な応用は別として、他人を犠牲にして特定の問題に焦点をあてることである。
論文 参考訳(メタデータ) (2024-09-21T14:43:54Z) - Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。
本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
論文 参考訳(メタデータ) (2024-02-28T16:09:56Z) - Artificial Intelligence: Arguments for Catastrophic Risk [0.0]
我々は、AIが破滅的なリスクにどう影響するかを示すために、2つの影響力ある議論をレビューする。
電力探究の問題の最初の議論は、先進的なAIシステムが危険な電力探究行動に関与する可能性が高いと主張している。
第2の主張は、人間レベルのAIの開発が、さらなる進歩を早めるだろう、というものである。
論文 参考訳(メタデータ) (2024-01-27T19:34:13Z) - The Generative AI Paradox: "What It Can Create, It May Not Understand" [81.89252713236746]
生成AIの最近の波は、潜在的に超人的な人工知能レベルに対する興奮と懸念を引き起こしている。
同時に、モデルは、専門家でない人でも期待できないような理解の基本的な誤りを示している。
一見超人的な能力と、ごく少数の人間が起こすエラーの持続性を、どうやって再現すればよいのか?
論文 参考訳(メタデータ) (2023-10-31T18:07:07Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z) - Human-Centered Responsible Artificial Intelligence: Current & Future
Trends [76.94037394832931]
近年、CHIコミュニティは人間中心のレスポンシブル人工知能の研究において著しい成長を遂げている。
この研究はすべて、人権と倫理に根ざしたまま、人類に利益をもたらすAIを開発し、AIの潜在的な害を減らすことを目的としている。
本研究グループでは,これらのトピックに関心のある学術・産業の研究者を集結させ,現在の研究動向と今後の研究動向を地図化することを目的とする。
論文 参考訳(メタデータ) (2023-02-16T08:59:42Z) - Current and Near-Term AI as a Potential Existential Risk Factor [5.1806669555925975]
我々は、現在および短期的な人工知能技術が、現実的なリスクに寄与する可能性があるという考えを問題視する。
我々は、すでに文書化されているAIの効果が、実在するリスク要因として機能する、という仮説を提案する。
私たちの主な貢献は、潜在的なAIリスク要因とそれら間の因果関係の展示です。
論文 参考訳(メタデータ) (2022-09-21T18:56:14Z) - Detecting Synthetic Phenomenology in a Contained Artificial General
Intelligence [0.0]
この研究は、クエーリアを通じて既存の現象学の尺度を分析する。
これはこれらのアイデアを、包含された汎用人工知能の文脈に拡張する。
論文 参考訳(メタデータ) (2020-11-06T16:10:38Z) - AI Research Considerations for Human Existential Safety (ARCHES) [6.40842967242078]
負の言葉で言えば、我々は人類が次の世紀のAI開発から直面する現実的なリスクを問う。
Emphprepotenceという,仮説AI技術の鍵となる性質
その後、既存の安全に対する潜在的な利益のために、現代の研究方向の集合が検討される。
論文 参考訳(メタデータ) (2020-05-30T02:05:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。