論文の概要: When to Show a Suggestion? Integrating Human Feedback in AI-Assisted
Programming
- arxiv url: http://arxiv.org/abs/2306.04930v2
- Date: Mon, 28 Aug 2023 20:21:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 17:57:02.235620
- Title: When to Show a Suggestion? Integrating Human Feedback in AI-Assisted
Programming
- Title(参考訳): 提案はいつ提示するか?
AI支援プログラミングにおけるヒューマンフィードバックの統合
- Authors: Hussein Mozannar, Gagan Bansal, Adam Fourney, Eric Horvitz
- Abstract要約: 私たちは、GitHub Copilotと対話するプログラマの事前データを活用して、プログラマの時間を節約できる介入を開発しています。
本稿では,プログラマとのインタラクションをモデル化し,どの提案を表示するかを決定するユーティリティ理論フレームワークを提案する。
- 参考スコア(独自算出の注目度): 30.866534708838167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI powered code-recommendation systems, such as Copilot and CodeWhisperer,
provide code suggestions inside a programmer's environment (e.g., an IDE) with
the aim to improve their productivity. Since, in these scenarios, programmers
accept and reject suggestions, ideally, such a system should use this feedback
in furtherance of this goal. In this work, we leverage prior data of
programmers interacting with GitHub Copilot, a system used by millions of
programmers, to develop interventions that can save programmer time. We propose
a utility theory framework, which models this interaction with programmers and
decides which suggestions to display. Our framework Conditional suggestion
Display from Human Feedback (CDHF), relies on a cascade of models that predict
suggestion acceptance to selectively hide suggestions reducing both latency and
programmer verification time. Using data from 535 programmers, we perform a
retrospective evaluation of CDHF and show that we can avoid displaying a
significant fraction of suggestions that would have been rejected doing so
without total knowledge of the suggestions themselves. We further demonstrate
the importance of incorporating the programmer's latent unobserved state in
deciding when to display suggestions through ablations on user study data.
Finally, we showcase that using suggestion acceptance as a reward signal to
know which suggestions to display leads to reduced quality suggestions
indicating an unexpected pitfall.
- Abstract(参考訳): CopilotやCodeWhispererといったAIによるコード推奨システムは、プログラマの環境(IDEなど)内で、生産性の向上を目的としたコード提案を提供する。
これらのシナリオでは、プログラマは提案を受け入れ拒否するので、理想的には、そのようなシステムは、この目標をさらに進めるためにこのフィードバックを使うべきである。
本研究では,数百万人のプログラマが使用するシステムであるgithub copilotと対話するプログラマの事前データを活用して,プログラマの時間を節約するための介入を開発する。
我々は,プログラマとのインタラクションをモデル化し,どの提案を表示するかを決定するユーティリティ理論フレームワークを提案する。
本フレームワークでは,提案の受理を予測し,提案を選択的に隠蔽し,遅延時間とプログラマの検証時間を短縮する手法を,CDHF(Conditional Proposal Display from Human Feedback)と呼ぶ。
535人のプログラマによるデータを用いて、CDHFの振り返り評価を行い、提案自体の完全な知識を使わずに拒否されたであろう提案のかなりの部分を表示できないことを示す。
さらに,ユーザの学習データに基づく提案をいつ提示するか決定する上で,プログラマの潜伏状態を統合することの重要性を示す。
最後に,提案を報奨信号として使用することで,提示すべき提案が予期しない落とし穴を示す品質提案の低減につながることを示す。
関連論文リスト
- GuardRails: Automated Suggestions for Clarifying Ambiguous Purpose
Statements [0.0]
関数の前に、プログラマは目的のステートメント、すなわち関数が何を計算するかの、短い自然言語による説明を書くことを奨励される。
目的のステートメントは曖昧であるかもしれない、すなわち、2つ以上の非等価な計算が特定の入力に当てはまる場合、意図した振る舞いを特定できないかもしれない。
本稿では,Large Language Models (LLMs) を用いてそのような入力を提案する小説を提案する。
我々は、Pythonプログラミング言語のVisual Studio Codeの拡張として、データセットのオープンソース実装を作成します。
論文 参考訳(メタデータ) (2023-12-13T14:56:42Z) - Team-related Features in Code Review Prediction Models [10.576931077314887]
コードオーナシップ、ワークロード、チーム関係に関連する機能の予測能力を評価します。
結果から,コードオーナシップに関連する機能が最も優れた予測能力を持つことが示唆された。
提案されたすべての機能とコード行を合わせることで、レビュアーの参加とフィードバックの量の両方に最適な予測ができると結論付けます。
論文 参考訳(メタデータ) (2023-12-11T09:30:09Z) - De-fine: Decomposing and Refining Visual Programs with Auto-Feedback [81.08213203440634]
De-fineは複雑なタスクを単純なサブタスクに分解し、自動フィードバックによってプログラムを洗練するフレームワークである。
様々な視覚的タスクを対象とした実験により、De-fineはより正確で堅牢なプログラムを作成し、新しいベンチマークをフィールドに設定した。
論文 参考訳(メタデータ) (2023-11-21T06:24:09Z) - MISSRec: Pre-training and Transferring Multi-modal Interest-aware
Sequence Representation for Recommendation [61.45986275328629]
逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。
ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。
候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
論文 参考訳(メタデータ) (2023-08-22T04:06:56Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - Reading Between the Lines: Modeling User Behavior and Costs in
AI-Assisted Programming [36.270310963941434]
GitHub Copilotは、何百万人ものプログラマが毎日使っているコード推奨システムです。
Copilotと対話する際の共通プログラマ活動の分類であるCUPSを開発した。
私たちの洞察は、プログラマがCopilotとどのように相互作用し、新しいインターフェース設計とメトリクスを動機付けるかを明らかにします。
論文 参考訳(メタデータ) (2022-10-25T20:01:15Z) - Breaking Feedback Loops in Recommender Systems with Causal Inference [99.22185950608838]
近年の研究では、フィードバックループが推奨品質を損なう可能性があり、ユーザの振る舞いを均質化している。
本稿では、因果推論を用いてフィードバックループを確実に破壊するアルゴリズムCAFLを提案する。
従来の補正手法と比較して,CAFLは推奨品質を向上することを示す。
論文 参考訳(メタデータ) (2022-07-04T17:58:39Z) - Top-N Recommendation with Counterfactual User Preference Simulation [26.597102553608348]
ユーザーランキングに基づく好みの学習を目的としたTop-Nレコメンデーションは、長い間、広範囲のアプリケーションにおいて基本的な問題だった。
本稿では,データ不足問題に対処するため,因果推論フレームワーク内での推薦タスクの再構築を提案する。
論文 参考訳(メタデータ) (2021-09-02T14:28:46Z) - Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。
次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。
オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
論文 参考訳(メタデータ) (2020-05-20T07:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。