論文の概要: Investigating and Designing for Trust in AI-powered Code Generation Tools
- arxiv url: http://arxiv.org/abs/2305.11248v2
- Date: Tue, 28 May 2024 00:22:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 04:46:21.492632
- Title: Investigating and Designing for Trust in AI-powered Code Generation Tools
- Title（参考訳）: AIを利用したコード生成ツールにおける信頼のための調査と設計
- Authors: Ruotong Wang, Ruijia Cheng, Denae Ford, Thomas Zimmermann,
- Abstract要約: 私たちは、AIコード生成ツールを適切に信頼する上での彼らの課題を理解するために、開発者にインタビューした。
我々は,開発者の信頼構築プロセスを支援する設計概念を探索する設計調査を行った。
これらの結果から,AIを利用したコード生成ツールの信頼性設計に関する設計勧告が提案されている。
- 参考スコア（独自算出の注目度）: 15.155301866886647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As AI-powered code generation tools such as GitHub Copilot become popular, it is crucial to understand software developers' trust in AI tools -- a key factor for tool adoption and responsible usage. However, we know little about how developers build trust with AI, nor do we understand how to design the interface of generative AI systems to facilitate their appropriate levels of trust. In this paper, we describe findings from a two-stage qualitative investigation. We first interviewed 17 developers to contextualize their notions of trust and understand their challenges in building appropriate trust in AI code generation tools. We surfaced three main challenges -- including building appropriate expectations, configuring AI tools, and validating AI suggestions. To address these challenges, we conducted a design probe study in the second stage to explore design concepts that support developers' trust-building process by 1) communicating AI performance to help users set proper expectations, 2) allowing users to configure AI by setting and adjusting preferences, and 3) offering indicators of model mechanism to support evaluation of AI suggestions. We gathered developers' feedback on how these design concepts can help them build appropriate trust in AI-powered code generation tools, as well as potential risks in design. These findings inform our proposed design recommendations on how to design for trust in AI-powered code generation tools.
- Abstract（参考訳）: GitHub CopilotのようなAI駆動のコード生成ツールが普及するにつれて、ソフトウェア開発者がAIツールを信頼していることを理解することが、ツールの採用と責任ある使用の鍵となる。
しかし、開発者がAIで信頼を構築する方法や、生成するAIシステムのインターフェースを設計して、適切なレベルの信頼を促進する方法についてはほとんど分かっていません。
本稿では,2段階の質的調査の結果について述べる。
私たちはまず17人の開発者にインタビューを行い、AIコード生成ツールを適切に信頼する上での課題を理解しました。
適切な期待の構築、AIツールの設定、AI提案の検証など、主な3つの課題を取り上げました。
これらの課題に対処するため、我々は第2段階の設計調査を行い、開発者の信頼構築プロセスを支援する設計概念を探求した。
1)AIパフォーマンスのコミュニケーションにより、ユーザーは適切な期待を達成できる。
2) ユーザが好みを設定して調整することでAIを設定できるようにし、
3)AI提案の評価を支援するためのモデルメカニズムの指標を提供する。
これらの設計概念が、AIによるコード生成ツールへの適切な信頼を構築するのにどのように役立つか、そして設計における潜在的なリスクについて、開発者のフィードバックを集めた。
これらの結果から,AIを利用したコード生成ツールの信頼性設計に関する設計勧告が提案されている。
関連論文リスト
- Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。
私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
論文 参考訳（メタデータ） (2024-10-25T07:53:32Z) - "I Don't Use AI for Everything": Exploring Utility, Attitude, and Responsibility of AI-empowered Tools in Software Development [19.851794567529286]
本研究では、ソフトウェア開発プロセスにおけるAIを活用したツールの採用、影響、およびセキュリティに関する考察を行う。
ソフトウェア開発のさまざまな段階において,AIツールが広く採用されていることが判明した。
論文 参考訳（メタデータ） (2024-09-20T09:17:10Z) - Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳（メタデータ） (2024-07-03T15:38:57Z) - Using AI Assistants in Software Development: A Qualitative Study on Security Practices and Concerns [23.867795468379743]
最近の研究は、AI生成コードがセキュリティ問題を含むことを実証している。
ソフトウェア専門家がAIアシスタントの使用とセキュリティのバランスをとる方法はまだ不明だ。
本稿では,ソフトウェアプロフェッショナルがセキュアなソフトウェア開発にAIアシスタントをどのように利用するかを検討する。
論文 参考訳（メタデータ） (2024-05-10T10:13:19Z) - Custom Developer GPT for Ethical AI Solutions [1.2691047660244337]
このプロジェクトの目的は、開発者がAIエンジニアリングを通じて倫理的な問題を議論し解決するための、独自の生成事前学習トランスフォーマー(GPT)を作ることだ。
このようなツールを使用することで、実践者は法的要件を満たし、多様な倫理的視点を満たすAIソリューションを設計することができる。
論文 参考訳（メタデータ） (2024-01-19T20:21:46Z) - Finding differences in perspectives between designers and engineers to
develop trustworthy AI for autonomous cars [0.0]
自動運転車のための信頼できるAIの開発については、さまざまな視点がある。
この研究は、視点の違いに光を当て、そのような違いを最小限に抑えるための勧告を提供する。
論文 参考訳（メタデータ） (2023-07-01T08:28:34Z) - Human-centered trust framework: An HCI perspective [1.6344851071810074]
この研究の理論的根拠は、現在の人工知能(AI)のユーザ信頼談話に基づいている。
我々は、AI設計におけるユーザ信頼の可能性を最大限に解き放つために、非専門家を導くためのフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-05T06:15:32Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳（メタデータ） (2023-01-08T15:02:38Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳（メタデータ） (2022-11-12T21:54:05Z) - Designing for Responsible Trust in AI Systems: A Communication
Perspective [56.80107647520364]
我々は、MATCHと呼ばれる概念モデルを開発するために、技術に対する信頼に関するコミュニケーション理論と文献から引き出す。
私たちは、AIシステムの能力として透明性とインタラクションを強調します。
我々は、技術クリエーターが使用する適切な方法を特定するのに役立つ要件のチェックリストを提案する。
論文 参考訳（メタデータ） (2022-04-29T00:14:33Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。