論文の概要: Exploring Interaction Patterns for Debugging: Enhancing Conversational Capabilities of AI-assistants

• arxiv url: http://arxiv.org/abs/2402.06229v1
• Date: Fri, 9 Feb 2024 07:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 17:40:24.700670
• Title: Exploring Interaction Patterns for Debugging: Enhancing Conversational Capabilities of AI-assistants
• Title（参考訳）: デバッグのためのインタラクションパターンの探索:AIアシスタントの会話能力の向上
• Authors: Bhavya Chopra, Yasharth Bajpai, Param Biyani, Gustavo Soares, Arjun Radhakrishna, Chris Parnin, Sumit Gulwani
• Abstract要約: 大規模言語モデル(LLM)は、プログラマが様々なソフトウェア開発タスクの自然言語説明を得ることを可能にする。 LLMはしばしば十分な文脈なしに行動し、暗黙の仮定や不正確な反応を引き起こす。 本稿では,対話パターンと会話分析からインスピレーションを得て,デバッグのための対話型AIアシスタントRobinを設計する。
• 参考スコア（独自算出の注目度）: 18.53732314023887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread availability of Large Language Models (LLMs) within Integrated Development Environments (IDEs) has led to their speedy adoption. Conversational interactions with LLMs enable programmers to obtain natural language explanations for various software development tasks. However, LLMs often leap to action without sufficient context, giving rise to implicit assumptions and inaccurate responses. Conversations between developers and LLMs are primarily structured as question-answer pairs, where the developer is responsible for asking the the right questions and sustaining conversations across multiple turns. In this paper, we draw inspiration from interaction patterns and conversation analysis -- to design Robin, an enhanced conversational AI-assistant for debugging. Through a within-subjects user study with 12 industry professionals, we find that equipping the LLM to -- (1) leverage the insert expansion interaction pattern, (2) facilitate turn-taking, and (3) utilize debugging workflows -- leads to lowered conversation barriers, effective fault localization, and 5x improvement in bug resolution rates.
• Abstract（参考訳）: 統合開発環境(IDE)において、LLM(Large Language Models)が広く利用可能になれば、その採用が迅速になる。 LLMとの会話により、プログラマは様々なソフトウェア開発タスクの自然言語説明を得ることができる。 しかし、LLMはしばしば十分な文脈なしに行動し、暗黙の仮定や不正確な反応を引き起こす。 開発者とllmの間の会話は、主に質問と回答のペアとして構成される。 本稿では、対話パターンと会話分析からインスピレーションを得て、デバッグのための対話型AIアシスタントRobinを設計する。 業界の専門家12名を対象にした内的ユーザスタディを通じて,(1)挿入拡張インタラクションパターンの活用,(2)ターンテイクの促進,(3)デバッグワークフローの活用,(3)会話障壁の低減,効果的なフォールトローカライゼーション,5倍のバグ解決率の向上などが確認できた。

関連論文リスト

• Developer Challenges on Large Language Models: A Study of Stack Overflow and OpenAI Developer Forum Posts [2.704899832646869]
  大規模言語モデル(LLM)は、様々なドメインにまたがる例外的な機能のために広く普及している。 本研究は,Stack OverflowとOpenAI Developer Forum上でのコミュニティインタラクションを分析することによって,開発者の課題を調査する。
  論文  参考訳（メタデータ） (2024-11-16T19:38:27Z)
• Iteration of Thought: Leveraging Inner Dialogue for Autonomous Large Language Model Reasoning [0.0]
  反復的人間のエンゲージメントは、大規模言語モデル(LLM)の高度な言語処理能力を活用するための一般的かつ効果的な手段である。 思考の反復(IoT)フレームワークを提案する。 静的アプローチや半静的アプローチとは異なり、IoTは進化するコンテキストに基づいて推論パスを動的に適応する。
  論文  参考訳（メタデータ） (2024-09-19T09:44:17Z)
• Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training [33.57497419019826]
  アクションベースのコントラスト自己学習は、多ターン会話におけるサンプル効率のよい対話ポリシー学習を可能にする。 ACTは、教師付き微調整とDPOのための標準的なアプローチよりも、相当な会話モデリングの改善を示す。
  論文  参考訳（メタデータ） (2024-05-31T22:44:48Z)
• MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions [58.57255822646756]
  本稿では,大規模言語モデル (LLM) を評価するためのベンチマークであるMathChatを紹介する。 我々は,MathChatベンチマーク上での様々なSOTA LLMの性能評価を行い,これらのモデルが単ターン質問応答において優れているが,より複雑なシナリオでは性能が著しく劣っていることを観察した。 我々は,LLMファインタニングのための合成対話に基づく数学データセットであるMathChat syncを開発した。
  論文  参考訳（メタデータ） (2024-05-29T18:45:55Z)
• Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
  本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
  論文  参考訳（メタデータ） (2024-02-27T05:37:10Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• Enhancing Pipeline-Based Conversational Agents with Large Language Models [0.0]
  本稿では,大規模言語モデル(LLM)に基づくエージェントの2つのフェーズにおける機能について検討する。 LLMをパイプラインベースのエージェントに統合するハイブリッドアプローチでは、エージェントの構築と実行の時間とコストを削減できる。
  論文  参考訳（メタデータ） (2023-09-07T14:43:17Z)
• Frugal Prompting for Dialog Models [17.048111072193933]
  本研究では,大規模言語モデル(LLM)を用いた対話システム構築のための異なるアプローチについて検討する。 即時チューニングの一環として、インストラクション、例題、現在のクエリ、追加のコンテキストを提供する様々な方法を試行する。 この研究は、最適な使用情報密度を持つダイアログ履歴の表現も分析する。
  論文  参考訳（メタデータ） (2023-05-24T09:06:49Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。