論文の概要: AI Alignment in the Design of Interactive AI: Specification Alignment,
Process Alignment, and Evaluation Support
- arxiv url: http://arxiv.org/abs/2311.00710v1
- Date: Mon, 23 Oct 2023 14:33:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-05 13:29:50.898450
- Title: AI Alignment in the Design of Interactive AI: Specification Alignment,
Process Alignment, and Evaluation Support
- Title(参考訳): インタラクティブAI設計におけるAIアライメント:仕様アライメント、プロセスアライメント、評価サポート
- Authors: Michael Terry, Chinmay Kulkarni, Martin Wattenberg, Lucas Dixon,
Meredith Ringel Morris
- Abstract要約: AIアライメントは、AIが望ましい結果をもたらすことを保証するという全体的な問題を、望ましくない副作用なしに考慮している。
本稿では、AIアライメントの概念を基本的な3ステップのインタラクションサイクルにマッピングする。
対話的なアライメント機構を提供するインターフェースが,質的に異なるユーザエクスペリエンスを実現する方法を示す。
- 参考スコア(独自算出の注目度): 32.828851258409216
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI alignment considers the overall problem of ensuring an AI produces desired
outcomes, without undesirable side effects. While often considered from the
perspectives of safety and human values, AI alignment can also be considered in
the context of designing and evaluating interfaces for interactive AI systems.
This paper maps concepts from AI alignment onto a basic, three step interaction
cycle, yielding a corresponding set of alignment objectives: 1) specification
alignment: ensuring the user can efficiently and reliably communicate
objectives to the AI, 2) process alignment: providing the ability to verify and
optionally control the AI's execution process, and 3) evaluation support:
ensuring the user can verify and understand the AI's output. We also introduce
the concepts of a surrogate process, defined as a simplified, separately
derived, but controllable representation of the AI's actual process; and the
notion of a Process Gulf, which highlights how differences between human and AI
processes can lead to challenges in AI control. To illustrate the value of this
framework, we describe commercial and research systems along each of the three
alignment dimensions, and show how interfaces that provide interactive
alignment mechanisms can lead to qualitatively different and improved user
experiences.
- Abstract(参考訳): AIアライメントは、AIが望ましい結果をもたらすことを保証するという全体的な問題を、望ましくない副作用なしに考慮している。
安全と人的価値の観点から考えることが多いが、AIアライメントは、対話型AIシステムのためのインターフェースの設計と評価の文脈でも考慮できる。
本稿では,AIアライメントの概念を基本的3段階のインタラクションサイクルにマッピングし,アライメント目標のセットを生成する。
1) 仕様の整合性: ユーザがAIに目的を効率的に確実に伝達できるようにすること。
2) プロセスアライメント:AIの実行プロセスを検証し、任意に制御する機能を提供する。
3) 評価サポート: ユーザがAIのアウトプットを検証して理解できるようにすること。
また、AIの実際のプロセスの単純化された、分離された、しかし制御可能な表現として定義された代理プロセスの概念や、人間とAIプロセスの違いがAI制御の課題にどのように影響するかを強調するプロセスガルフの概念も導入する。
このフレームワークの価値を説明するために,3つのアライメント次元のそれぞれに沿って,商業的および研究的なシステムを記述し,対話的なアライメント機構を提供するインターフェースが,質的に異なるユーザエクスペリエンスをもたらすことを示す。
関連論文リスト
- The Foundations of Computational Management: A Systematic Approach to
Task Automation for the Integration of Artificial Intelligence into Existing
Workflows [55.2480439325792]
本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。
この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
論文 参考訳(メタデータ) (2024-02-07T01:45:14Z) - AI Alignment: A Comprehensive Survey [71.14382422032104]
AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。
AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理という4つの原則を特定します。
我々は、現在のアライメント研究を、前方アライメントと後方アライメントの2つの重要なコンポーネントに分解する。
論文 参考訳(メタデータ) (2023-10-30T15:52:15Z) - On the Interdependence of Reliance Behavior and Accuracy in AI-Assisted
Decision-Making [0.0]
我々は,AIによる意思決定における信頼行動と精度の相互依存性を分析する。
この相互依存をより具体化するための視覚的枠組みを提案する。
論文 参考訳(メタデータ) (2023-04-18T08:08:05Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳(メタデータ) (2022-11-12T21:54:05Z) - Aligning Artificial Intelligence with Humans through Public Policy [0.0]
このエッセイは、下流のタスクに活用可能なポリシーデータの構造を学ぶAIの研究の概要を概説する。
これはAIとポリシーの"理解"フェーズを表していると私たちは考えていますが、AIを整合させるために人的価値の重要な源としてポリシーを活用するには、"理解"ポリシーが必要です。
論文 参考訳(メタデータ) (2022-06-25T21:31:14Z) - Fairness in Agreement With European Values: An Interdisciplinary
Perspective on AI Regulation [61.77881142275982]
この学際的立場の論文は、AIにおける公平性と差別に関する様々な懸念を考察し、AI規制がそれらにどう対処するかについて議論する。
私たちはまず、法律、(AI)産業、社会技術、そして(道徳)哲学のレンズを通して、AIと公正性に注目し、様々な視点を提示します。
我々は、AI公正性の懸念の観点から、AI法の取り組みを成功に導くために、AIレギュレーションが果たす役割を特定し、提案する。
論文 参考訳(メタデータ) (2022-06-08T12:32:08Z) - A Human-Centric Assessment Framework for AI [11.065260433086024]
説明可能なAIシステムをどのように評価すべきかに関して合意された基準はない。
チューリングテストに触発されて,人間中心のアセスメントフレームワークを導入する。
このセットアップは、広範囲の人間中心のAIシステムアセスメントのためのフレームワークとして機能する。
論文 参考訳(メタデータ) (2022-05-25T12:59:13Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳(メタデータ) (2021-05-07T12:01:31Z) - Artificial Intelligence, Values and Alignment [2.28438857884398]
AIアライメント問題の規範的および技術的側面は相互に関連している。
アライメントの目標を明確にすることが重要です。
理論家にとっての中心的な課題は、AIの「真の」道徳原則を特定することではない。
論文 参考訳(メタデータ) (2020-01-13T10:32:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。