論文の概要: When to Show a Suggestion? Integrating Human Feedback in AI-Assisted Programming

• arxiv url: http://arxiv.org/abs/2306.04930v2
• Date: Mon, 28 Aug 2023 20:21:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 17:57:02.235620
• Title: When to Show a Suggestion? Integrating Human Feedback in AI-Assisted Programming
• Title（参考訳）: 提案はいつ提示するか? AI支援プログラミングにおけるヒューマンフィードバックの統合
• Authors: Hussein Mozannar, Gagan Bansal, Adam Fourney, Eric Horvitz
• Abstract要約: 私たちは、GitHub Copilotと対話するプログラマの事前データを活用して、プログラマの時間を節約できる介入を開発しています。 本稿では,プログラマとのインタラクションをモデル化し,どの提案を表示するかを決定するユーティリティ理論フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 30.866534708838167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI powered code-recommendation systems, such as Copilot and CodeWhisperer, provide code suggestions inside a programmer's environment (e.g., an IDE) with the aim to improve their productivity. Since, in these scenarios, programmers accept and reject suggestions, ideally, such a system should use this feedback in furtherance of this goal. In this work, we leverage prior data of programmers interacting with GitHub Copilot, a system used by millions of programmers, to develop interventions that can save programmer time. We propose a utility theory framework, which models this interaction with programmers and decides which suggestions to display. Our framework Conditional suggestion Display from Human Feedback (CDHF), relies on a cascade of models that predict suggestion acceptance to selectively hide suggestions reducing both latency and programmer verification time. Using data from 535 programmers, we perform a retrospective evaluation of CDHF and show that we can avoid displaying a significant fraction of suggestions that would have been rejected doing so without total knowledge of the suggestions themselves. We further demonstrate the importance of incorporating the programmer's latent unobserved state in deciding when to display suggestions through ablations on user study data. Finally, we showcase that using suggestion acceptance as a reward signal to know which suggestions to display leads to reduced quality suggestions indicating an unexpected pitfall.
• Abstract（参考訳）: CopilotやCodeWhispererといったAIによるコード推奨システムは、プログラマの環境(IDEなど)内で、生産性の向上を目的としたコード提案を提供する。 これらのシナリオでは、プログラマは提案を受け入れ拒否するので、理想的には、そのようなシステムは、この目標をさらに進めるためにこのフィードバックを使うべきである。 本研究では,数百万人のプログラマが使用するシステムであるgithub copilotと対話するプログラマの事前データを活用して,プログラマの時間を節約するための介入を開発する。 我々は,プログラマとのインタラクションをモデル化し,どの提案を表示するかを決定するユーティリティ理論フレームワークを提案する。 本フレームワークでは,提案の受理を予測し,提案を選択的に隠蔽し,遅延時間とプログラマの検証時間を短縮する手法を,CDHF(Conditional Proposal Display from Human Feedback)と呼ぶ。 535人のプログラマによるデータを用いて、CDHFの振り返り評価を行い、提案自体の完全な知識を使わずに拒否されたであろう提案のかなりの部分を表示できないことを示す。 さらに,ユーザの学習データに基づく提案をいつ提示するか決定する上で,プログラマの潜伏状態を統合することの重要性を示す。 最後に,提案を報奨信号として使用することで,提示すべき提案が予期しない落とし穴を示す品質提案の低減につながることを示す。

関連論文リスト

• Learning Recommender Systems with Soft Target: A Decoupled Perspective [49.83787742587449]
  そこで本研究では,ソフトラベルを活用することで,目的を2つの側面として捉えるために,分離されたソフトラベル最適化フレームワークを提案する。 本稿では,ラベル伝搬アルゴリズムをモデル化したソフトラベル生成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-09T04:20:15Z)
• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• De-fine: Decomposing and Refining Visual Programs with Auto-Feedback [75.62712247421146]
  De-fineは、複雑なタスクを単純なサブタスクに分解し、オートフィードバックを通じてプログラムを洗練する、トレーニング不要のフレームワークである。 様々な視覚的タスクに対する我々の実験は、De-fineがより堅牢なプログラムを生成することを示している。
  論文  参考訳（メタデータ） (2023-11-21T06:24:09Z)
• MISSRec: Pre-training and Transferring Multi-modal Interest-aware Sequence Representation for Recommendation [61.45986275328629]
  逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。 ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。 候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
  論文  参考訳（メタデータ） (2023-08-22T04:06:56Z)
• Reading Between the Lines: Modeling User Behavior and Costs in AI-Assisted Programming [28.254978977288868]
  GitHub Copilotは、何百万人ものプログラマが毎日使っているコード推奨システムです。 Copilotと対話する際の共通プログラマ活動の分類であるCUPSを開発した。 私たちの洞察は、プログラマがCopilotとどのように相互作用し、新しいインターフェース設計とメトリクスを動機付けるかを明らかにします。
  論文  参考訳（メタデータ） (2022-10-25T20:01:15Z)
• Breaking Feedback Loops in Recommender Systems with Causal Inference [99.22185950608838]
  近年の研究では、フィードバックループが推奨品質を損なう可能性があり、ユーザの振る舞いを均質化している。 本稿では、因果推論を用いてフィードバックループを確実に破壊するアルゴリズムCAFLを提案する。 従来の補正手法と比較して,CAFLは推奨品質を向上することを示す。
  論文  参考訳（メタデータ） (2022-07-04T17:58:39Z)
• ELIXIR: Learning from User Feedback on Explanations to Improve Recommender Models [26.11434743591804]
  説明に対するユーザフィードバックをユーザ好みのペアワイズ学習に活用する,ループ内人間フレームワーク ELIXIR を考案した。 elixirは、レコメンデーションと説明のペアに対するフィードバックを活用して、ユーザ固有の潜在選好ベクトルを学習する。 このフレームワークは、ランダムウォークとリスタートによる一般化グラフレコメンデーションを用いてインスタンス化される。
  論文  参考訳（メタデータ） (2021-02-15T13:43:49Z)
• Adversarial Counterfactual Learning and Evaluation for Recommender System [33.44276155380476]
  ユーザ嗜好を検出するために教師付き学習を適用することは、露出情報がない場合に矛盾する結果になる可能性があることを理論的に示す。 ミニマックス経験的リスクの定式化を導入することにより, 基本解を提案する。
  論文  参考訳（メタデータ） (2020-11-08T00:40:51Z)
• Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
  逐次リコメンデーションタスクのための自己指導型強化学習を提案する。 提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。 このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T11:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。