Fugu-MT 論文翻訳(概要): Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning

論文の概要: Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning

arxiv url: http://arxiv.org/abs/2405.03509v1
Date: Mon, 6 May 2024 14:22:17 GMT
ステータス: 処理完了
システム内更新日: 2024-05-07 13:26:55.523015
Title: Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning
Title（参考訳）: 人間のルールは必要か? CoT 推論と文脈内学習による再利用可能な API の生成
Authors: Yubo Mai, Zhipeng Gao, Xing Hu, Lingfeng Bao, Yu Liu, Jianling Sun,
Abstract要約: そこで我々は,Stack OverflowコードスニペットのAPIzationを自動的に実行する,Code2APIという新しいアプローチを提案する。 Code2APIは、追加のモデルトレーニングや手作業のルールを必要としない。他の外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。
参考スコア（独自算出の注目度）: 14.351476383642016
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Inspired by the great potential of Large Language Models (LLMs) for solving complex coding tasks, in this paper, we propose a novel approach, named Code2API, to automatically perform APIzation for Stack Overflow code snippets. Code2API does not require additional model training or any manual crafting rules and can be easily deployed on personal computers without relying on other external tools. Specifically, Code2API guides the LLMs through well-designed prompts to generate well-formed APIs for given code snippets. To elicit knowledge and logical reasoning from LLMs, we used chain-of-thought (CoT) reasoning and few-shot in-context learning, which can help the LLMs fully understand the APIzation task and solve it step by step in a manner similar to a developer. Our evaluations show that Code2API achieves a remarkable accuracy in identifying method parameters (65%) and return statements (66%) equivalent to human-generated ones, surpassing the current state-of-the-art approach, APIzator, by 15.0% and 16.5% respectively. Moreover, compared with APIzator, our user study demonstrates that Code2API exhibits superior performance in generating meaningful method names, even surpassing the human-level performance, and developers are more willing to use APIs generated by our approach, highlighting the applicability of our tool in practice. Finally, we successfully extend our framework to the Python dataset, achieving a comparable performance with Java, which verifies the generalizability of our tool.
Abstract（参考訳）: 本稿では,複雑なコーディングタスクを解決するためのLarge Language Models(LLMs)の大きな可能性に触発されて,Stack OverflowコードスニペットのAPIを自動実行する,Code2APIという新しいアプローチを提案する。 Code2APIは、追加のモデルトレーニングや手作業のルールを必要としないため、外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。具体的には、Code2APIは、適切に設計されたプロンプトを通じてLLMをガイドし、与えられたコードスニペットに対して適切なフォーマットのAPIを生成する。 LLMから知識と論理的推論を引き出すために、私たちはチェーン・オブ・ソート(CoT)推論と数発のインコンテキスト学習を使い、LLMがAPIのタスクを完全に理解し、開発者と同じような方法でステップバイステップで解決するのに役立つ。評価の結果,Code2APIは,現在の最先端アプローチであるAPIzatorをそれぞれ15.0%,かつ16.5%を超え,メソッドパラメータ(65%)とリターンステートメント(66%)を識別する上で,顕著な精度を実現していることがわかった。さらに、APIzatorと比較して、ユーザ調査では、Code2APIは有意義なメソッド名を生成する上で優れたパフォーマンスを示しており、人間レベルのパフォーマンスを超えています。最後に、我々のフレームワークをPythonデータセットに拡張し、Javaと同等のパフォーマンスを実現し、ツールの一般化可能性を検証することに成功しました。

関連論文リスト

Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
論文参考訳（メタデータ） (2024-11-06T10:28:46Z)
A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models [14.665460257371164]
GitHub CopilotやChatGPTのような大規模言語モデル(LLM)は、コード生成の強力なツールとして登場した。 API指向コード生成におけるLLMの機能を評価するために設計されたフレームワークであるAutoAPIEvalを提案する。
論文参考訳（メタデータ） (2024-09-23T17:22:09Z)
FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
論文参考訳（メタデータ） (2024-07-18T23:44:02Z)
Octopus: On-device language model for function calling of software APIs [9.78611123915888]
大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
論文参考訳（メタデータ） (2024-04-02T01:29:28Z)
From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs [62.496139001509114]
大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。 ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
論文参考訳（メタデータ） (2024-02-28T08:42:23Z)
APIGen: Generative API Method Recommendation [16.541442856821]
APIGenは、拡張インコンテキスト学習(ICL)によるジェネレーティブAPIレコメンデーションアプローチである APIGenは、語彙、構文、意味の観点から、プログラミングクエリに類似したポストを検索する。推論プロセスにより、APIGenはクエリのプログラミング要件を満たすための推奨APIを提供する。
論文参考訳（メタデータ） (2024-01-29T02:35:42Z)
Let's Discover More API Relations: A Large Language Model-based AI Chain for Unsupervised API Relation Inference [19.05884373802318]
本稿では,大規模言語モデル(LLM)をAPI関係推論のニューラルネットワーク基盤として活用することを提案する。このアプローチは、LLMを知識ベースとして事前訓練するために使用されるWeb全体を活用し、入力テキストのコンテキストや複雑さに敏感である。我々は3つのデータセットで平均F1値0.76を達成し、最先端のF1値0.40よりもかなり高い値を得た。
論文参考訳（メタデータ） (2023-11-02T14:25:00Z)
CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文参考訳（メタデータ） (2023-09-29T17:40:26Z)
Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。 TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
論文参考訳（メタデータ） (2023-07-28T07:43:13Z)
Binding Language Models in Symbolic Languages [146.3027328556881]
Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
論文参考訳（メタデータ） (2022-10-06T12:55:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。