論文の概要: In-IDE Generation-based Information Support with a Large Language Model
- arxiv url: http://arxiv.org/abs/2307.08177v1
- Date: Mon, 17 Jul 2023 00:49:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 15:14:33.457611
- Title: In-IDE Generation-based Information Support with a Large Language Model
- Title（参考訳）: 大規模言語モデルを用いたIDE内情報提供
- Authors: Daye Nam and Andrew Macvean and Vincent Hellendoorn and Bogdan
Vasilescu and Brad Myers
- Abstract要約: 開発者はしばしば、高品質なソフトウェアシステムの構築とメンテナンスに不可欠であるコード理解の課題に直面します。
不慣れなコードを理解するために、ほとんどのソフトウェア開発者は、様々なプログラミング情報リソースを検索するために汎用検索エンジンに依存している。
- 参考スコア（独自算出の注目度）: 11.853186054993987
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Developers often face challenges in code understanding, which is crucial for
building and maintaining high-quality software systems. Code comments and
documentation can provide some context for the code, but are often scarce or
missing. This challenge has become even more pressing with the rise of large
language model (LLM) based code generation tools. To understand unfamiliar
code, most software developers rely on general-purpose search engines to search
through various programming information resources, which often requires
multiple iterations of query rewriting and information foraging. More recently,
developers have turned to online chatbots powered by LLMs, such as ChatGPT,
which can provide more customized responses but also incur more overhead as
developers need to communicate a significant amount of context to the LLM via a
textual interface. In this study, we provide the investigation of an LLM-based
conversational UI in the IDE. We aim to understand the promises and obstacles
for tools powered by LLMs that are contextually aware, in that they
automatically leverage the developer's programming context to answer queries.
To this end, we develop an IDE Plugin that allows users to query back-ends such
as OpenAI's GPT-3.5 and GPT-4 with high-level requests, like: explaining a
highlighted section of code, explaining key domain-specific terms, or providing
usage examples for an API. We conduct an exploratory user study with 32
participants to understand the usefulness and effectiveness, as well as
individual preferences in the usage of, this LLM-powered information support
tool. The study confirms that this approach can aid code understanding more
effectively than web search, but the degree of the benefit differed by
participants' experience levels.
- Abstract（参考訳）: 開発者はしばしば、高品質なソフトウェアシステムの構築とメンテナンスに不可欠であるコード理解の課題に直面します。
コードコメントとドキュメンテーションは、コードにいくつかのコンテキストを提供するが、しばしば不足または欠落する。
この課題は、大規模言語モデル(LLM)ベースのコード生成ツールの台頭によって、さらに深刻化している。
馴染みのないコードを理解するために、ほとんどのソフトウェア開発者は、様々なプログラミング情報リソースを検索するために汎用検索エンジンに依存している。
最近では、開発者は、よりカスタマイズされたレスポンスを提供するだけでなく、開発者がテキストインターフェイスを介してLLMにかなりの量のコンテキストを通信する必要があるため、よりオーバーヘッドを発生させるChatGPTのような、LLMを使ったオンラインチャットボットに切り替えている。
本研究では,IDE内のLLMベースの会話UIについて検討する。
我々は、開発者がクエリに答えるために自動的にプログラムコンテキストを活用するという点で、文脈的に認識されているLLMで動くツールの約束と障害を理解することを目的としている。
この目的のために我々は,OpenAI の GPT-3.5 や GPT-4 などのバックエンドに対して,強調されたコードセクションの説明,重要なドメイン固有の用語の説明,API の利用例の提供など,高レベルの要求をクエリ可能な IDE プラグインを開発した。
本研究は,32名を対象に探索的ユーザ調査を行い,その有用性と有効性,およびこのllmを活用した情報支援ツールの利用における個人の嗜好を理解する。
本研究は,本手法がWeb検索よりもコード理解の効率化に有効であることを確認したが,参加者の体験レベルによってメリットの程度が異なっていた。
関連論文リスト
- Codellm-Devkit: A Framework for Contextualizing Code LLMs with Program Analysis Insights [9.414198519543564]
codellm-devkit (以下, CLDK') は,プログラム解析のプロセスを大幅に単純化したオープンソースライブラリである。
CLDKは開発者に対して直感的でユーザフレンドリなインターフェースを提供しています。
論文 参考訳（メタデータ） (2024-10-16T20:05:59Z) - What You Need is What You Get: Theory of Mind for an LLM-Based Code Understanding Assistant [0.0]
開発者のコード理解を支援するために、多くのツールがLLM(Large Language Models)を使用している。
本研究では,LLMをベースとした対話型アシスタントの設計を行った。
コード理解の初心者を支援するためにLLMベースの会話アシスタントを開発したり改善したりしたい研究者やツールビルダーに洞察を提供する。
論文 参考訳（メタデータ） (2024-08-08T14:08:15Z) - BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks [14.640473990776691]
計算ノートブックに新たなワークフローを導入し,LLMベースのコード生成を短時間のUIステップで拡張する。
本稿では,このワークフローを JupyterLab の拡張である BISCUIT に提示する。
BISCUITはユーザの理解を助けるためのコード表現を提供し、迅速なエンジニアリングの複雑さを減らし、ユーザが異なる変数を探索するための遊び場を作成する。
論文 参考訳（メタデータ） (2024-04-10T23:28:09Z) - LLMCheckup: Conversational Examination of Large Language Models via Interpretability Tools and Self-Explanations [26.340786701393768]
対話の形で説明を提供する解釈可能性ツールは,ユーザの理解を高める上で有効であることを示す。
しかしながら、対話ベースの説明のための現在のソリューションは、しばしば外部ツールやモジュールを必要とし、設計されていないタスクに簡単に転送できない。
ユーザがその振る舞いについて,最先端の大規模言語モデル(LLM)とチャットできる,アクセスしやすいツールを提案する。
論文 参考訳（メタデータ） (2024-01-23T09:11:07Z) - Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。
コードプロンプトは複数のLLMに対して高速に向上することがわかった。
GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文 参考訳（メタデータ） (2024-01-18T15:32:24Z) - INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳（メタデータ） (2024-01-12T12:10:28Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - TaskWeaver: A Code-First Agent Framework [50.99683051759488]
TaskWeaverは、LLMで動く自律エージェントを構築するためのコードファーストフレームワークである。
ユーザ要求を実行可能なコードに変換し、ユーザ定義プラグインを呼び出し可能な関数として扱う。
リッチなデータ構造、フレキシブルなプラグイン利用、動的プラグイン選択のサポートを提供する。
論文 参考訳（メタデータ） (2023-11-29T11:23:42Z) - ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world
APIs [104.37772295581088]
オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。
データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。
ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
論文 参考訳（メタデータ） (2023-07-31T15:56:53Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳（メタデータ） (2023-04-17T09:27:40Z) - Repository-Level Prompt Generation for Large Language Models of Code [28.98699307030983]
本稿では,提案手法を用いてサンプル固有のプロンプトを生成するフレームワークを提案する。
プロンプトプロポーザルはリポジトリ全体からコンテキストを取ります。
我々は,Google Codeアーカイブから取得したコードリポジトリを用いて,単行コード自動補完のタスクについて実験を行った。
論文 参考訳（メタデータ） (2022-06-26T10:51:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。