論文の概要: Assistance or Disruption? Exploring and Evaluating the Design and Trade-offs of Proactive AI Programming Support
- arxiv url: http://arxiv.org/abs/2502.18658v2
- Date: Tue, 04 Mar 2025 15:26:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:11:58.746068
- Title: Assistance or Disruption? Exploring and Evaluating the Design and Trade-offs of Proactive AI Programming Support
- Title(参考訳): 援助か破壊か? 積極的AIプログラミング支援の設計とトレードオフを探求し、評価する
- Authors: Kevin Pu, Daniel Lazaro, Ian Arawjo, Haijun Xia, Ziang Xiao, Tovi Grossman, Yan Chen,
- Abstract要約: 我々は,エディタアクティビティとタスクコンテキストに基づいたプログラミング支援を開始するデザインプローブエージェントであるCodellaboratorを紹介し,評価する。
プロアクティブエージェントは、プロンプトのみのパラダイムに比べて効率が向上するが、ワークフローの混乱も引き起こす。
- 参考スコア(独自算出の注目度): 23.409008559160256
- License:
- Abstract: AI programming tools enable powerful code generation, and recent prototypes attempt to reduce user effort with proactive AI agents, but their impact on programming workflows remains unexplored. We introduce and evaluate Codellaborator, a design probe LLM agent that initiates programming assistance based on editor activities and task context. We explored three interface variants to assess trade-offs between increasingly salient AI support: prompt-only, proactive agent, and proactive agent with presence and context (Codellaborator). In a within-subject study (N=18), we find that proactive agents increase efficiency compared to prompt-only paradigm, but also incur workflow disruptions. However, presence indicators and interaction context support alleviated disruptions and improved users' awareness of AI processes. We underscore trade-offs of Codellaborator on user control, ownership, and code understanding, emphasizing the need to adapt proactivity to programming processes. Our research contributes to the design exploration and evaluation of proactive AI systems, presenting design implications on AI-integrated programming workflow.
- Abstract(参考訳): AIプログラミングツールは、強力なコード生成を可能にし、最近のプロトタイプは、プロアクティブなAIエージェントによるユーザの労力を削減しようとしているが、プログラミングワークフローへの影響はまだ明らかになっていない。
我々は,エディタアクティビティとタスクコンテキストに基づいたプログラミング支援を開始するデザインプローブLLMエージェントであるCodellaboratorを紹介し,評価する。
我々は,AIサポートの高度化に伴うトレードオフを評価するために,プロンプトオンリー,プロアクティブエージェント,存在とコンテキストを持ったプロアクティブエージェント(Codellaborator)の3つのインターフェースバリアントを調査した。
対象内調査(N=18)では、プロアクティブエージェントはプロンプトのみのパラダイムよりも効率が向上するが、ワークフローの混乱も生じない。
しかし、プレゼンスインジケータとインタラクションコンテキストは、ディスラプションを緩和し、AIプロセスに対するユーザの認識を改善します。
Codellaboratorのユーザコントロール、オーナシップ、コード理解に関するトレードオフを強調し、プログラミングプロセスに積極的に対応する必要性を強調します。
我々の研究は、AI統合プログラミングワークフローにおける設計上の意味を提示し、プロアクティブなAIシステムの設計調査と評価に貢献する。
関連論文リスト
- Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳(メタデータ) (2025-02-18T17:12:26Z) - Fine-Grained Appropriate Reliance: Human-AI Collaboration with a Multi-Step Transparent Decision Workflow for Complex Task Decomposition [14.413413322901409]
本稿では,MST(Multi-Step Transparent)決定ワークフローがユーザ依存行動に与える影響について検討する。
MST決定ワークフローとの人間とAIのコラボレーションは、特定の文脈におけるワンステップのコラボレーションよりも優れていることを示す。
私たちの研究は、最適な人間とAIのコラボレーションを得るのに役立つ、オールサイズの意思決定ワークフローが存在しないことを強調しています。
論文 参考訳(メタデータ) (2025-01-19T01:03:09Z) - How Developers Interact with AI: A Taxonomy of Human-AI Collaboration in Software Engineering [8.65285948382426]
開発者とAIツール間のインタラクションタイプを分類し,11種類のインタラクションタイプを識別する。
この分類に基づいて、AIインタラクションの最適化、開発者のコントロールの改善、AI支援開発における信頼とユーザビリティの課題への対処に焦点を当てた研究課題を概説する。
論文 参考訳(メタデータ) (2025-01-15T12:53:49Z) - AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds [12.464941027105306]
AI for IT Operations(AIOps)は、障害のローカライゼーションや根本原因分析といった複雑な運用タスクを自動化することを目的としており、人間の作業量を削減し、顧客への影響を最小限にする。
大規模言語モデル(LLM)とAIエージェントの最近の進歩は、エンドツーエンドとマルチタスクの自動化を可能にすることで、AIOpsに革命をもたらしている。
マイクロサービスクラウド環境をデプロイし、障害を注入し、ワークロードを生成し、テレメトリデータをエクスポートするフレームワークであるAIOPSLABを紹介します。
論文 参考訳(メタデータ) (2025-01-12T04:17:39Z) - Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance [95.03771007780976]
我々は、人間の指示なしにタスクを予測および開始できるプロアクティブエージェントを開発するという課題に取り組む。
まず,実世界の人的活動を収集し,前向きなタスク予測を生成する。
これらの予測は、ヒトのアノテータによって受け入れられるか拒否されるかのどちらかとしてラベル付けされる。
ラベル付きデータは、人間の判断をシミュレートする報酬モデルをトレーニングするために使用される。
論文 参考訳(メタデータ) (2024-10-16T08:24:09Z) - Constraining Participation: Affordances of Feedback Features in Interfaces to Large Language Models [49.74265453289855]
大規模言語モデル(LLM)は、コンピュータ、Webブラウザ、ブラウザベースのインターフェースによるインターネット接続を持つ人なら誰でも利用できるようになった。
本稿では,ChatGPTインタフェースにおける対話型フィードバック機能の可能性について検討し,ユーザ入力の形状やイテレーションへの参加について分析する。
論文 参考訳(メタデータ) (2024-08-27T13:50:37Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳(メタデータ) (2024-08-06T01:20:12Z) - The Foundations of Computational Management: A Systematic Approach to
Task Automation for the Integration of Artificial Intelligence into Existing
Workflows [55.2480439325792]
本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。
この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
論文 参考訳(メタデータ) (2024-02-07T01:45:14Z) - ProAgent: From Robotic Process Automation to Agentic Process Automation [87.0555252338361]
LLM(Large Language Models)は、人間のような知性を持つ言語である。
本稿では,ALMをベースとしたエージェントを用いた高度な自動化のための基盤的自動化パラダイムであるエージェントプロセス自動化(APA)を紹介する。
そして、人間の指示を駆使し、特殊エージェントの調整によって複雑な決定を下すように設計されたエージェントであるProAgentをインスタンス化する。
論文 参考訳(メタデータ) (2023-11-02T14:32:16Z) - Comparing Software Developers with ChatGPT: An Empirical Investigation [0.0]
本稿では,ChatGPTのようなソフトウェア技術者やAIシステムのパフォーマンスを,さまざまな評価指標で比較した実証的研究を行う。
この論文は、さまざまな評価基準を考慮して、ソフトウェアエンジニアとAIベースのソリューションの包括的な比較が、人間と機械のコラボレーションを促進する上で重要であることを示唆している。
論文 参考訳(メタデータ) (2023-05-19T17:25:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。