論文の概要: AI Alignment: A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2310.19852v5
• Date: Wed, 1 May 2024 07:30:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 20:21:02.343557
• Title: AI Alignment: A Comprehensive Survey
• Title（参考訳）: AIアライメント: 総合的な調査
• Authors: Jiaming Ji, Tianyi Qiu, Boyuan Chen, Borong Zhang, Hantao Lou, Kaile Wang, Yawen Duan, Zhonghao He, Jiayi Zhou, Zhaowei Zhang, Fanzhi Zeng, Kwan Yee Ng, Juntao Dai, Xuehai Pan, Aidan O'Gara, Yingshan Lei, Hua Xu, Brian Tse, Jie Fu, Stephen McAleer, Yaodong Yang, Yizhou Wang, Song-Chun Zhu, Yike Guo, Wen Gao,
• Abstract要約: AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。 AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理という4つの原則を特定します。 我々は、現在のアライメント研究を、前方アライメントと後方アライメントの2つの重要なコンポーネントに分解する。
• 参考スコア（独自算出の注目度）: 70.35693485015659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI alignment aims to make AI systems behave in line with human intentions and values. As AI systems grow more capable, so do risks from misalignment. To provide a comprehensive and up-to-date overview of the alignment field, in this survey, we delve into the core concepts, methodology, and practice of alignment. First, we identify four principles as the key objectives of AI alignment: Robustness, Interpretability, Controllability, and Ethicality (RICE). Guided by these four principles, we outline the landscape of current alignment research and decompose them into two key components: forward alignment and backward alignment. The former aims to make AI systems aligned via alignment training, while the latter aims to gain evidence about the systems' alignment and govern them appropriately to avoid exacerbating misalignment risks. On forward alignment, we discuss techniques for learning from feedback and learning under distribution shift. On backward alignment, we discuss assurance techniques and governance practices. We also release and continually update the website (www.alignmentsurvey.com) which features tutorials, collections of papers, blog posts, and other resources.
• Abstract（参考訳）: AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。 AIシステムがより有能になるにつれて、ミスアライメントによるリスクも増大する。 この調査では、アライメントのコンセプト、方法論、実践について調べる。 まず、AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理性(RICE)の4つの原則を特定します。 これら4つの原則に基づいて、現在のアライメント研究の展望を概説し、それらを2つの重要なコンポーネント、前方アライメントと後方アライメントに分解する。 前者はアライメントトレーニングを通じてAIシステムをアライメントさせることを目標とし、後者はシステムのアライメントに関する証拠を取得し、不正なアライメントリスクの悪化を避けるためにそれらを適切に管理することを目的としている。 本研究では,分布シフト下でのフィードバックと学習から学習する手法について考察する。 後方調整では、保証技術とガバナンスの実践について議論する。 また、チュートリアル、論文のコレクション、ブログ投稿、その他のリソースを含むウェブサイト(www.alignmentsurvey.com)もリリースし、継続的に更新しています。

関連論文リスト

• Using AI Alignment Theory to understand the potential pitfalls of regulatory frameworks [55.2480439325792]
  本稿では、欧州連合の人工知能法(EU AI法)を批判的に検討する。 人工知能における技術的アライメントの潜在的な落とし穴に焦点を当てたアライメント理論(AT)研究からの洞察を利用する。 これらの概念をEU AI Actに適用すると、潜在的な脆弱性と規制を改善するための領域が明らかになる。
  論文  参考訳（メタデータ） (2024-10-10T17:38:38Z)
• ValueCompass: A Framework of Fundamental Values for Human-AI Alignment [15.35489011078817]
  本稿では,心理学的理論と体系的レビューに基づく基本的価値の枠組みであるバリューを紹介する。 本研究では,人間と言語モデル(LM)の価値アライメントを測定するために,実世界の4つのヴィグネットに価値を適用した。 以下に示すのは、人間とLMの危険な相違を明らかにすることであり、例えば、LMは人間によってほとんど意見が一致しない「自己のゴール」のような価値観と一致している。
  論文  参考訳（メタデータ） (2024-09-15T02:13:03Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
  近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。 人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。 我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• On the Essence and Prospect: An Investigation of Alignment Approaches for Big Models [77.86952307745763]
  ビッグデータはAIの分野で画期的なブレークスルーを達成したが、潜在的な懸念を生じさせるかもしれない。 このような懸念に対処するため、これらのモデルを人間の嗜好や価値観に適合させるアライメント技術が導入された。 過去1年間にかなりの進歩があったにもかかわらず、最適アライメント戦略の確立には様々な課題がある。
  論文  参考訳（メタデータ） (2024-03-07T04:19:13Z)
• Concept Alignment [10.285482205152729]
  我々は、私たちが価値を整合させる前に、AIシステムと人間が世界を理解するために使用する概念を整合させることが不可欠であると主張する。 哲学、認知科学、ディープラーニングのアイデアを統合し、概念の整合性の必要性を説明します。
  論文  参考訳（メタデータ） (2024-01-09T23:32:18Z)
• Fairness in Agreement With European Values: An Interdisciplinary Perspective on AI Regulation [61.77881142275982]
  この学際的立場の論文は、AIにおける公平性と差別に関する様々な懸念を考察し、AI規制がそれらにどう対処するかについて議論する。 私たちはまず、法律、(AI)産業、社会技術、そして(道徳)哲学のレンズを通して、AIと公正性に注目し、様々な視点を提示します。 我々は、AI公正性の懸念の観点から、AI法の取り組みを成功に導くために、AIレギュレーションが果たす役割を特定し、提案する。
  論文  参考訳（メタデータ） (2022-06-08T12:32:08Z)
• Artificial Intelligence, Values and Alignment [2.28438857884398]
  AIアライメント問題の規範的および技術的側面は相互に関連している。 アライメントの目標を明確にすることが重要です。 理論家にとっての中心的な課題は、AIの「真の」道徳原則を特定することではない。
  論文  参考訳（メタデータ） (2020-01-13T10:32:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。