論文の概要: Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions
- arxiv url: http://arxiv.org/abs/2406.09264v1
- Date: Thu, 13 Jun 2024 16:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 16:55:18.354558
- Title: Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions
- Title(参考訳): 双方向AIアライメントに向けて: 明確化, 枠組み, 今後の方向性の体系的レビュー
- Authors: Hua Shen, Tiffany Knearem, Reshmi Ghosh, Kenan Alkiek, Kundan Krishna, Yachuan Liu, Ziqiao Ma, Savvas Petridis, Yi-Hao Peng, Li Qiwei, Sushrita Rakshit, Chenglei Si, Yutong Xie, Jeffrey P. Bigham, Frank Bentley, Joyce Chai, Zachary Lipton, Qiaozhu Mei, Rada Mihalcea, Michael Terry, Diyi Yang, Meredith Ringel Morris, Paul Resnick, David Jurgens,
- Abstract要約: 近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。
人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。
- 参考スコア(独自算出の注目度): 101.67121669727354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in general-purpose AI have highlighted the importance of guiding AI systems towards the intended goals, ethical principles, and values of individuals and groups, a concept broadly recognized as alignment. However, the lack of clarified definitions and scopes of human-AI alignment poses a significant obstacle, hampering collaborative efforts across research domains to achieve this alignment. In particular, ML- and philosophy-oriented alignment research often views AI alignment as a static, unidirectional process (i.e., aiming to ensure that AI systems' objectives match humans) rather than an ongoing, mutual alignment problem [429]. This perspective largely neglects the long-term interaction and dynamic changes of alignment. To understand these gaps, we introduce a systematic review of over 400 papers published between 2019 and January 2024, spanning multiple domains such as Human-Computer Interaction (HCI), Natural Language Processing (NLP), Machine Learning (ML), and others. We characterize, define and scope human-AI alignment. From this, we present a conceptual framework of "Bidirectional Human-AI Alignment" to organize the literature from a human-centered perspective. This framework encompasses both 1) conventional studies of aligning AI to humans that ensures AI produces the intended outcomes determined by humans, and 2) a proposed concept of aligning humans to AI, which aims to help individuals and society adjust to AI advancements both cognitively and behaviorally. Additionally, we articulate the key findings derived from literature analysis, including discussions about human values, interaction techniques, and evaluations. To pave the way for future studies, we envision three key challenges for future directions and propose examples of potential future solutions.
- Abstract(参考訳): 汎用AIの最近の進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。
しかしながら、人間-AIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の協調作業を妨げる重要な障害となる。
特に、MLと哲学指向のアライメント研究は、AIアライメントを、進行中の相互アライメント問題(429)ではなく、静的で一方向のプロセス(つまり、AIシステムの目的が人間と一致することを保証すること)とみなすことが多い。
この観点は、長期の相互作用とアライメントの動的変化を無視している。
これらのギャップを理解するために、2019年から2024年1月までに発行された400以上の論文を体系的にレビューし、ヒューマン・コンピュータ・インタラクション(HCI)、自然言語処理(NLP)、機械学習(ML)など複数のドメインにまたがる調査を行った。
人間のAIアライメントを特徴づけ、定義し、スコープ化します。
そこで本研究では,「双方向型AIアライメント」の概念的枠組みを提示し,文学を人間中心の視点から整理する。
このフレームワークは両方を包含する
1)AIを人間に合わせる従来の研究は、AIが人間によって決定された結果を生み出すことを確実にしている。
2) 個人や社会が認知的・行動的にAIの進歩に適応することを支援することを目的として,人間をAIに整合させる概念を提案する。
さらに,人的価値,インタラクション技術,評価に関する議論など,文献分析から得られた重要な知見を述べる。
今後の研究の道を開くために,今後の方向性に関する3つの重要な課題を思いつき,今後の解決策の例を提案する。
関連論文リスト
- Quantifying Misalignment Between Agents [2.619545850602691]
近年,AIアライメント問題に対する懸念が高まっている。
我々は、観察されているエージェントの個体数によって、不一致がいかに異なるかを示す。
私たちのモデルは、価値仕様のアプローチから離れ、代わりにエージェントが実際に持っているような複雑な、インターロック、時には矛盾する目標に焦点を合わせています。
論文 参考訳(メタデータ) (2024-06-06T16:31:22Z) - Beyond Prompts: Learning from Human Communication for Enhanced AI Intent Alignment [30.93897332124916]
人間のコミュニケーションにおける意図的仕様のための人的戦略について検討する。
本研究は,人間中心型AIシステムに向けて,AIシステム設計のためのヒューマンコミュニケーション戦略をまとめることを目的としている。
論文 参考訳(メタデータ) (2024-05-09T11:10:29Z) - A Moral Imperative: The Need for Continual Superalignment of Large Language Models [1.0499611180329806]
スーパーアライメント(Superalignment)は、超知能AIシステムが人間の価値観や目標に応じて行動することを確実にする理論フレームワークである。
本稿では,AIシステム,特に大規模言語モデル(LLM)における生涯的スーパーアライメントの実現に関わる課題について検討する。
論文 参考訳(メタデータ) (2024-03-13T05:44:50Z) - Human-AI collaboration is not very collaborative yet: A taxonomy of interaction patterns in AI-assisted decision making from a systematic review [6.013543974938446]
意思決定支援システムにおける人工知能の活用は、技術的進歩に不相応に焦点を合わせてきた。
人間中心の視点は、既存のプロセスとのシームレスな統合のためにAIソリューションを設計することで、この懸念を緩和しようとする。
論文 参考訳(メタデータ) (2023-10-30T17:46:38Z) - AI Alignment: A Comprehensive Survey [70.35693485015659]
AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。
AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理という4つの原則を特定します。
我々は、現在のアライメント研究を、前方アライメントと後方アライメントの2つの重要なコンポーネントに分解する。
論文 参考訳(メタデータ) (2023-10-30T15:52:15Z) - AI Alignment in the Design of Interactive AI: Specification Alignment,
Process Alignment, and Evaluation Support [32.828851258409216]
AIアライメントは、AIが望ましい結果をもたらすことを保証するという全体的な問題を、望ましくない副作用なしに考慮している。
本稿では、AIアライメントの概念を基本的な3ステップのインタラクションサイクルにマッピングする。
対話的なアライメント機構を提供するインターフェースが,質的に異なるユーザエクスペリエンスを実現する方法を示す。
論文 参考訳(メタデータ) (2023-10-23T14:33:11Z) - Next Steps for Human-Centered Generative AI: A Technical Perspective [107.74614586614224]
我々はHuman-centered Generative AI(HGAI)の次のステップを提案する。
これらの次のステップを特定することで、HGAIにおける創発的なアイデアの一貫性を追求するため、学際的な研究チームを引き出すつもりです。
論文 参考訳(メタデータ) (2023-06-27T19:54:30Z) - Human-AI Coevolution [48.74579595505374]
Coevolution AIは、人間とAIアルゴリズムが相互に連続的に影響を及ぼすプロセスである。
本稿では,AIと複雑性科学の交点における新たな研究分野の基盤として,Coevolution AIを紹介した。
論文 参考訳(メタデータ) (2023-06-23T18:10:54Z) - Fairness in Agreement With European Values: An Interdisciplinary
Perspective on AI Regulation [61.77881142275982]
この学際的立場の論文は、AIにおける公平性と差別に関する様々な懸念を考察し、AI規制がそれらにどう対処するかについて議論する。
私たちはまず、法律、(AI)産業、社会技術、そして(道徳)哲学のレンズを通して、AIと公正性に注目し、様々な視点を提示します。
我々は、AI公正性の懸念の観点から、AI法の取り組みを成功に導くために、AIレギュレーションが果たす役割を特定し、提案する。
論文 参考訳(メタデータ) (2022-06-08T12:32:08Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳(メタデータ) (2021-05-07T12:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。