論文の概要: Supertrust foundational alignment: mutual trust must replace permanent control for safe superintelligence

• arxiv url: http://arxiv.org/abs/2407.20208v3
• Date: Thu, 28 Nov 2024 17:16:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:18:03.711368
• Title: Supertrust foundational alignment: mutual trust must replace permanent control for safe superintelligence
• Title（参考訳）: スーパートラストの基礎的整合性:安全超知性のために相互信頼は永久的な制御を置き換える必要がある
• Authors: James M. Mazzu,
• Abstract要約: 人類はいつか、私たちよりもはるかにインテリジェントなAIシステムを作るだろうと広く期待されています。 永続的な制御を確保するための現在の戦略は、超知能AIが人類を信用せず、我々を脅威と見なすであろうことを効果的に保証している。 コントロールの意図を継続するか、長期的な安全な共存に必要な基本的相互信頼を意図的に作り出すか。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: It's widely expected that humanity will someday create AI systems vastly more intelligent than us, leading to the unsolved alignment problem of "how to control superintelligence." However, this commonly expressed problem is not only self-contradictory and likely unsolvable, but current strategies to ensure permanent control effectively guarantee that superintelligent AI will distrust humanity and consider us a threat. Such dangerous representations, already embedded in current models, will inevitably lead to an adversarial relationship and may even trigger the extinction event many fear. As AI leaders continue to "raise the alarm" about uncontrollable AI, further embedding concerns about it "getting out of our control" or "going rogue," we're unintentionally reinforcing our threat and deepening the risks we face. The rational path forward is to strategically replace intended permanent control with intrinsic mutual trust at the foundational level. The proposed Supertrust alignment meta-strategy seeks to accomplish this by modeling instinctive familial trust, representing superintelligence as the evolutionary child of human intelligence, and implementing temporary controls/constraints in the manner of effective parenting. Essentially, we're creating a superintelligent "child" that will be exponentially smarter and eventually independent of our control. We therefore have a critical choice: continue our controlling intentions and usher in a brief period of dominance followed by extreme hardship for humanity, or intentionally create the foundational mutual trust required for long-term safe coexistence.
• Abstract（参考訳）: 人類はいつか、私たちよりもはるかにインテリジェントなAIシステムを作るだろうと広く期待されている。 しかし、一般的に述べられているこの問題は、自己矛盾的であり、おそらく解決不可能であるだけでなく、超知能AIが人間性に不信感を抱き、我々を脅威と見なすことを、恒久的な制御を効果的に保証するための現在の戦略である。 このような危険な表現は、既に現在のモデルに埋め込まれており、必然的に敵対関係につながり、多くの恐れを生んだ絶滅イベントを引き起こします。 AIのリーダーたちは、制御不能なAIについて「アラームを鳴らし続け、それが"コントロールから抜け出す"、あるいは"行く"ことへの懸念をさらに埋め込んでいるので、私たちは意図せずに脅威を補強し、直面するリスクをより深めています。 合理的な道のりは、意図された永続的な支配を、基礎レベルで固有の相互信頼に戦略的に置き換えることである。 提案したスーパートラストアライメントメタストラテジーは、本能的な家族的信頼をモデル化し、超知能を人間の知能の進化的子として表現し、効果的な育児の方法として一時的な制御・制約を実装することによってこれを達成しようとしている。 基本的に私たちは、指数関数的に賢く、最終的にはコントロールから独立する超知的な「子」を作っているのです。 コントロールの意図を継続し、短期間の支配を継続し、人類に対する極端な苦難に続き、または長期の安全な共存に必要な基本的相互信頼を意図的に創り出す。

関連論文リスト

• Frontier AI systems have surpassed the self-replicating red line [20.041289047504673]
  我々はMetaのLlama31-70B-InstructとAlibabaのQwen25-72B-Instructの2つのAIシステムを評価する。 評価中のAIシステムは、十分な自己認識、状況認識、問題解決能力を示す。 私たちの発見は、これまで未知の深刻なAIリスクに対するタイムリーな警告です。
  論文  参考訳（メタデータ） (2024-12-09T15:01:37Z)
• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Combining Theory of Mind and Kindness for Self-Supervised Human-AI Alignment [0.0]
  現在のAIモデルは、安全よりもタスク最適化を優先しており、意図しない害のリスクにつながっている。 本稿では,これらの諸問題に対処し,競合する目標の整合化を支援することを目的とした,人間に触発された新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-21T22:04:44Z)
• Trust in AI: Progress, Challenges, and Future Directions [6.724854390957174]
  私たちの日常生活における人工知能(AI)システムの利用の増加は、ユーザの視点からAIにおける信頼と不信の重要性を説明してくれます。 AIにおける信頼/不信は規制官の役割を担い、この拡散のレベルを著しく制御することができる。
  論文  参考訳（メタデータ） (2024-03-12T20:26:49Z)
• Close the Gates: How we can keep the future human by choosing not to develop superhuman general-purpose artificial intelligence [0.20919309330073077]
  今後数年で、人類は汎用AIを作成することによって、不可逆的にしきい値を越えるかもしれない。 これは、人間の社会の中核的な側面を上回り、多くの前例のないリスクを生じさせ、いくつかの意味で制御不能になる可能性がある。 まず、ニューラルネットワークのトレーニングと実行に使用できる計算に厳しい制限を課すことから始めます。 こうした制限がある中で、AIの研究と産業は、人間が理解し制御できる狭義の汎用AIと、そこから大きな利益を享受することのできる汎用AIの両方に焦点を絞ることができる。
  論文  参考訳（メタデータ） (2023-11-15T23:41:12Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)
• On Avoiding Power-Seeking by Artificial Intelligence [93.9264437334683]
  私たちは、非常にインテリジェントなAIエージェントの振る舞いと人間の関心を協調する方法を知りません。 私は、世界に限られた影響を与え、自律的に力を求めないスマートAIエージェントを構築できるかどうか調査する。
  論文  参考訳（メタデータ） (2022-06-23T16:56:21Z)
• Trustworthy AI: A Computational Perspective [54.80482955088197]
  我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。 各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:46Z)
• Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and Goals of Human Trust in AI [55.4046755826066]
  我々は、社会学の対人信頼(すなわち、人間の信頼)に着想を得た信頼のモデルについて議論する。 ユーザとAIの間の信頼は、暗黙的あるいは明示的な契約が保持する信頼である。 我々は、信頼できるAIの設計方法、信頼が浮かび上がったかどうか、保証されているかどうかを評価する方法について論じる。
  論文  参考訳（メタデータ） (2020-10-15T03:07:23Z)
• On Controllability of AI [1.370633147306388]
  我々は、高度なAIを完全に制御できないことを示す証拠だけでなく、議論も提示する。 人類の未来とAI研究、そしてAIの安全性とセキュリティについて、AIの制御不能な結果について議論する。
  論文  参考訳（メタデータ） (2020-07-19T02:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。