論文の概要: The Road to Artificial SuperIntelligence: A Comprehensive Survey of Superalignment

• arxiv url: http://arxiv.org/abs/2412.16468v1
• Date: Sat, 21 Dec 2024 03:51:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:12.404455
• Title: The Road to Artificial SuperIntelligence: A Comprehensive Survey of Superalignment
• Title（参考訳）: 人工超知能への道--超知能に関する総合的な調査
• Authors: HyunJin Kim, Xiaoyuan Yi, Jing Yao, Jianxun Lian, Muhua Huang, Shitong Duan, JinYeong Bak, Xing Xie,
• Abstract要約: 大規模言語モデル(LLMs)の出現は、人工超知能(ASI)の可能性を引き起こしている。 Superalignmentは2つの主要な目標 – 高品質なガイダンスシグナルを提供するための監視のスケーラビリティと、人間の価値との整合性を確保するための堅牢なガバナンス – に対処することを目指している。 具体的には、ASIの概念、それらがもたらす課題、そしてスーパーアライメント問題に対処する際の現在のアライメントパラダイムの限界について検討する。
• 参考スコア（独自算出の注目度）: 33.27140396561271
• License:
• Abstract: The emergence of large language models (LLMs) has sparked the possibility of about Artificial Superintelligence (ASI), a hypothetical AI system surpassing human intelligence. However, existing alignment paradigms struggle to guide such advanced AI systems. Superalignment, the alignment of AI systems with human values and safety requirements at superhuman levels of capability aims to addresses two primary goals -- scalability in supervision to provide high-quality guidance signals and robust governance to ensure alignment with human values. In this survey, we examine scalable oversight methods and potential solutions for superalignment. Specifically, we explore the concept of ASI, the challenges it poses, and the limitations of current alignment paradigms in addressing the superalignment problem. Then we review scalable oversight methods for superalignment. Finally, we discuss the key challenges and propose pathways for the safe and continual improvement of ASI systems. By comprehensively reviewing the current literature, our goal is provide a systematical introduction of existing methods, analyze their strengths and limitations, and discuss potential future directions.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、人間の知性を超えた仮説的AIシステムであるArtificial Superintelligence(ASI)の可能性を引き起こした。 しかし、既存のアライメントパラダイムは、このような高度なAIシステムを導くのに苦労している。 超人的レベルの能力におけるAIシステムと人的価値と安全要件の整合性であるSuperalignmentは、高い品質のガイダンス信号を提供するための監督のスケーラビリティと、人的価値との整合性を確保するための堅牢なガバナンスという、2つの主要な目標に対処することを目的としている。 本稿では,拡張性のある監視手法とスーパーアライメントの潜在的な解決策について検討する。 具体的には、ASIの概念、それらがもたらす課題、そしてスーパーアライメント問題に対処する際の現在のアライメントパラダイムの限界について検討する。 次に,拡張性のあるスーパーアライメントの監視手法について検討する。 最後に,ASIシステムの安全性と継続的な改善のための重要な課題について論じる。 現在の文献を網羅的にレビューすることで,既存の手法を体系的に導入し,その強みや限界を分析し,今後の方向性を議論する。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
  近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。 人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。 我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• Human-AI Safety: A Descendant of Generative AI and Control Systems Safety [6.100304850888953]
  先進的なAI技術に対する有意義な安全性保証には、AI出力と人間の振る舞いによって形成されるフィードバックループが、どのようにして異なる結果に向かって相互作用を駆動するかについての推論が必要である、と我々は主張する。 我々は、次世代の人間中心AI安全性に向けた具体的な技術ロードマップを提案する。
  論文  参考訳（メタデータ） (2024-05-16T03:52:00Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• A Moral Imperative: The Need for Continual Superalignment of Large Language Models [1.0499611180329806]
  スーパーアライメント(Superalignment)は、超知能AIシステムが人間の価値観や目標に応じて行動することを確実にする理論フレームワークである。 本稿では,AIシステム,特に大規模言語モデル(LLM)における生涯的スーパーアライメントの実現に関わる課題について検討する。
  論文  参考訳（メタデータ） (2024-03-13T05:44:50Z)
• On the Essence and Prospect: An Investigation of Alignment Approaches for Big Models [77.86952307745763]
  ビッグデータはAIの分野で画期的なブレークスルーを達成したが、潜在的な懸念を生じさせるかもしれない。 このような懸念に対処するため、これらのモデルを人間の嗜好や価値観に適合させるアライメント技術が導入された。 過去1年間にかなりの進歩があったにもかかわらず、最適アライメント戦略の確立には様々な課題がある。
  論文  参考訳（メタデータ） (2024-03-07T04:19:13Z)
• Incentive Compatibility for AI Alignment in Sociotechnical Systems: Positions and Prospects [11.086872298007835]
  既存の方法論は主に技術的側面に焦点を当てており、しばしばAIシステムの複雑な社会技術的性質を無視している。 Incentive Compatibility Sociotechnical Alignment Problem (ICSAP) ICを実現するための古典的なゲーム問題として,機構設計,契約理論,ベイズ的説得の3つを論じ,ICSAP解決の視点,可能性,課題について論じる。
  論文  参考訳（メタデータ） (2024-02-20T10:52:57Z)
• The Alignment Problem in Context [0.05657375260432172]
  大規模言語モデルのアライメント問題を解決するために,私たちが現在進行中であるかどうかを評価する。 大規模な言語モデルは敵の攻撃に弱いままなので、アライメントのための既存の戦略は不十分である、と私は論じます。 これは、アライメント問題は現在のAIシステムでは未解決であるだけでなく、その能力を著しく損なうことなく、本質的に解決が困難であることを示している。
  論文  参考訳（メタデータ） (2023-11-03T17:57:55Z)
• AI Alignment: A Comprehensive Survey [70.35693485015659]
  AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。 AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理という4つの原則を特定します。 我々は、現在のアライメント研究を、前方アライメントと後方アライメントの2つの重要なコンポーネントに分解する。
  論文  参考訳（メタデータ） (2023-10-30T15:52:15Z)
• Predictable Artificial Intelligence [77.1127726638209]
  本稿では予測可能なAIのアイデアと課題を紹介する。 それは、現在および将来のAIエコシステムの重要な妥当性指標を予測できる方法を探る。 予測可能性を達成することは、AIエコシステムの信頼、責任、コントロール、アライメント、安全性を促進するために不可欠である、と私たちは主張する。
  論文  参考訳（メタデータ） (2023-10-09T21:36:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。