論文の概要: CodeNav: Beyond tool-use to using real-world codebases with LLM agents
- arxiv url: http://arxiv.org/abs/2406.12276v1
- Date: Tue, 18 Jun 2024 05:10:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 20:45:27.802916
- Title: CodeNav: Beyond tool-use to using real-world codebases with LLM agents
- Title（参考訳）: CodeNav: LLMエージェントを使用した現実世界のコードベースの使用以外にも
- Authors: Tanmay Gupta, Luca Weihs, Aniruddha Kembhavi,
- Abstract要約: ユーザクエリを解決するために、これまで見つからなかったコードリポジトリをナビゲートし、活用するLLMエージェントであるCodeNavを提示する。
CodeNavは自動的にターゲットのコードブロックをインデックスし、検索する。
関連するコードスニペットを見つけ、インポートし、実行フィードバックを伴うソリューションを反復的に生成する。
- 参考スコア（独自算出の注目度）: 38.63753787418723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present CodeNav, an LLM agent that navigates and leverages previously unseen code repositories to solve user queries. In contrast to tool-use LLM agents that require ``registration'' of all relevant tools via manual descriptions within the LLM context, CodeNav automatically indexes and searches over code blocks in the target codebase, finds relevant code snippets, imports them, and uses them to iteratively generate a solution with execution feedback. To highlight the core-capabilities of CodeNav, we first showcase three case studies where we use CodeNav for solving complex user queries using three diverse codebases. Next, on three benchmarks, we quantitatively compare the effectiveness of code-use (which only has access to the target codebase) to tool-use (which has privileged access to all tool names and descriptions). Finally, we study the effect of varying kinds of tool and library descriptions on code-use performance, as well as investigate the advantage of the agent seeing source code as opposed to natural descriptions of code. All code will be made open source under a permissive license.
- Abstract（参考訳）: ユーザクエリを解決するために、これまで見つからなかったコードリポジトリをナビゲートし、活用するLLMエージェントであるCodeNavを提示する。
LLMコンテキスト内の手作業によるすべてのツールの‘登録’を必要とするツール使用のLDMエージェントとは対照的に、CodeNavは、ターゲットコードベースのコードブロックをインデックスし、検索し、関連するコードスニペットを見つけ、インポートし、実行フィードバックでソリューションを反復的に生成する。
CodeNavのコア機能を強調するために、まず3つのケーススタディを紹介します。
次に、3つのベンチマークで、コード使用(ターゲットコードベースへのアクセスのみ)とツール使用(ツール名と記述に特権的アクセス)の有効性を定量的に比較します。
最後に,様々な種類のツールやライブラリ記述がコード使用性能に与える影響について検討するとともに,ソースコードを自然な記述ではなく,ソースコードを見るエージェントの利点について検討する。
すべてのコードはパーミッシブライセンスの下でオープンソースにされる。
関連論文リスト
- VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
VersiCodeは,大規模言語モデルが特定のライブラリのバージョンに対して検証可能なコードを生成する能力を評価するために設計された,最初の包括的なデータセットである。
バージョン別コード補完(VSCC)とバージョン別コード編集(VACE)の2つの専用評価タスクを設計する。
LLMのパフォーマンスをベンチマークするために総合的な実験が行われ、これらのタスクとVersiCodeの難しさを明らかにしている。
論文 参考訳（メタデータ） (2024-06-11T16:15:06Z) - CodeCloak: A Method for Evaluating and Mitigating Code Leakage by LLM Code Assistants [23.462703429753706]
LLMベースのコードアシスタントを使用する場合、コード漏洩のリスクを軽減するための2つの補完手法を提案する。
1つ目は、コードアシスタントサービスに送信されたコードセグメントから、開発者のオリジナルを再構築するテクニックである。
2つ目は、コードアシスタントサービスに送信する前にプロンプトを操作する、新しいディープ強化学習エージェントであるCodeCloakである。
論文 参考訳（メタデータ） (2024-04-13T19:30:58Z) - Executable Code Actions Elicit Better LLM Agents [76.95566120678787]
この研究は、Pythonコードを使用して、Large Language Model(LLM)エージェントのアクションを統一されたアクション空間(CodeAct)に統合することを提案する。
Pythonインタプリタと統合されたCodeActは、コードアクションを実行し、事前アクションを動的に修正したり、マルチターンインタラクションを通じて新しい観察に新しいアクションを発行することができる。
CodeActのパフォーマンス向上は、解釈可能なコードを実行し、自然言語を使ってユーザとコラボレーションすることで、環境と対話するオープンソースのLLMエージェントを構築する動機となります。
論文 参考訳（メタデータ） (2024-02-01T21:38:58Z) - CodeAgent: Enhancing Code Generation with Tool-Integrated Agent Systems
for Real-World Repo-level Coding Challenges [44.028079593225584]
大規模言語モデル(LLM)は自動コード生成において有望であるが、通常は単純なタスクでのみ優れている。
私たちの研究は、実世界のリポジトリレベルのコード生成という、より現実的な設定でLLMを評価することに向かっています。
我々は,効率的なリポジトリレベルのコード生成に外部ツールを利用する,新しいLLMベースのエージェントフレームワークであるCodeAgentを紹介する。
論文 参考訳（メタデータ） (2024-01-14T18:12:03Z) - EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。
トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2024-01-11T15:45:11Z) - A^3-CodGen: A Repository-Level Code Generation Framework for Code Reuse
with Local-Aware, Global-Aware, and Third-Party-Library-Aware [13.850755485655435]
本稿では,A3-CodGenと呼ばれる新しいコード生成フレームワークを提案する。
コードリポジトリの代表的な情報として,現在のコードファイルからのローカルアウェア情報,他のコードファイルからのグローバルアウェア情報,サードパーティライブラリ情報という3つのカテゴリを識別する。
その結果、A3-CodGenフレームワークを採用することで、コードリポジトリ情報をLLMに抽出、ヒューズ、フィードし、より正確で、効率的で、再利用性の高いコードを生成します。
論文 参考訳（メタデータ） (2023-12-10T05:36:06Z) - InstructCoder: Instruction Tuning Large Language Models for Code Editing [26.160498475809266]
ユーザインストラクションに基づいたコード編集にLLM(Large Language Models)を用いる方法について検討する。
InstructCoderは、汎用コード編集にLLMを適用するために設計された最初の命令チューニングデータセットである。
InstructCoderで微調整されたオープンソースのLLMは、コード編集の精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2023-10-31T10:15:35Z) - Using an LLM to Help With Code Understanding [13.53616539787915]
大規模言語モデル(LLM)は、コードを書くプロセスに革命をもたらしています。
プラグインはOpenAIのGPT-3.5-turboモデルに対して,ユーザが明示的なプロンプトを書かなくても4つの高レベルリクエストをクエリする。
本システムの評価は,32名の被験者を対象に行ったユーザスタディで行われ,本プラグインがWeb検索よりもタスク完了に有効であることが確認された。
論文 参考訳（メタデータ） (2023-07-17T00:49:06Z) - Generation-Augmented Query Expansion For Code Retrieval [51.20943646688115]
本稿では,次世代のクエリ拡張フレームワークを提案する。
人間の検索プロセスにインスパイアされた – 検索前に回答をスケッチする。
CodeSearchNetベンチマークで、最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2022-12-20T23:49:37Z) - DocCoder: Generating Code by Retrieving and Reading Docs [87.88474546826913]
コードマニュアルとドキュメントを明示的に活用するアプローチであるDocCoderを紹介します。
我々のアプローチは一般的に、どんなプログラミング言語にも適用でき、基礎となるニューラルモデルとは無関係です。
論文 参考訳（メタデータ） (2022-07-13T06:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。