論文の概要: Let's Discover More API Relations: A Large Language Model-based AI Chain
for Unsupervised API Relation Inference
- arxiv url: http://arxiv.org/abs/2311.01266v1
- Date: Thu, 2 Nov 2023 14:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 13:10:50.428049
- Title: Let's Discover More API Relations: A Large Language Model-based AI Chain
for Unsupervised API Relation Inference
- Title（参考訳）: APIリレーションのさらなる発見 - 教師なしAPIリレーション推論のための大規模言語モデルベースのAIチェーン
- Authors: Qing Huang, Yanbang Sun, Zhenchang Xing, Yuanlong Cao, Jieshan Chen,
Xiwei Xu, Huan Jin, Jiaxing Lu
- Abstract要約: 本稿では,大規模言語モデル(LLM)をAPI関係推論のニューラルネットワーク基盤として活用することを提案する。
このアプローチは、LLMを知識ベースとして事前訓練するために使用されるWeb全体を活用し、入力テキストのコンテキストや複雑さに敏感である。
我々は3つのデータセットで平均F1値0.76を達成し、最先端のF1値0.40よりもかなり高い値を得た。
- 参考スコア（独自算出の注目度）: 19.05884373802318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: APIs have intricate relations that can be described in text and represented
as knowledge graphs to aid software engineering tasks. Existing relation
extraction methods have limitations, such as limited API text corpus and
affected by the characteristics of the input text.To address these limitations,
we propose utilizing large language models (LLMs) (e.g., GPT-3.5) as a neural
knowledge base for API relation inference. This approach leverages the entire
Web used to pre-train LLMs as a knowledge base and is insensitive to the
context and complexity of input texts. To ensure accurate inference, we design
our analytic flow as an AI Chain with three AI modules: API FQN Parser, API
Knowledge Extractor, and API Relation Decider. The accuracy of the API FQN
parser and API Relation Decider module are 0.81 and 0.83, respectively. Using
the generative capacity of the LLM and our approach's inference capability, we
achieve an average F1 value of 0.76 under the three datasets, significantly
higher than the state-of-the-art method's average F1 value of 0.40. Compared to
CoT-based method, our AI Chain design improves the inference reliability by
67%, and the AI-crowd-intelligence strategy enhances the robustness of our
approach by 26%.
- Abstract（参考訳）: APIは複雑な関係を持ち、テキストで記述でき、ソフトウェアエンジニアリングタスクを支援する知識グラフとして表現される。
既存の関係抽出手法には,APIテキストコーパスの制限や入力テキストの特性の影響などの制限があり,これらの制約に対処するために,大規模言語モデル(LLM)をAPI関係推論のニューラルネットワークベースとして活用することを提案する。
このアプローチは、LLMを知識ベースとして事前訓練するために使用されるWeb全体を活用し、入力テキストのコンテキストや複雑さに敏感である。
正確な推論を保証するため、分析フローを3つのAIモジュール(API FQN Parser、API Knowledge Extractor、API Relation Decider)を備えたAIチェーンとして設計する。
API FQNパーサとAPI Relation Deciderモジュールの精度はそれぞれ0.81と0.83である。
LLMの生成能力とアプローチの推論能力を用いて、3つのデータセットで平均F1値0.76を達成し、最先端法の平均F1値0.40よりも大幅に高い値を得た。
CoTベースの手法と比較して、私たちのAIチェーン設計は推論の信頼性を67%向上させ、AI集約型インテリジェンス戦略はアプローチの堅牢性を26%向上させる。
関連論文リスト
- Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning [14.351476383642016]
そこで我々は,Stack OverflowコードスニペットのAPIzationを自動的に実行する,Code2APIという新しいアプローチを提案する。
Code2APIは、追加のモデルトレーニングや手作業のルールを必要としない。
他の外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。
論文 参考訳（メタデータ） (2024-05-06T14:22:17Z) - APIGen: Generative API Method Recommendation [16.541442856821]
APIGenは、拡張インコンテキスト学習(ICL)によるジェネレーティブAPIレコメンデーションアプローチである
APIGenは、語彙、構文、意味の観点から、プログラミングクエリに類似したポストを検索する。
推論プロセスにより、APIGenはクエリのプログラミング要件を満たすための推奨APIを提供する。
論文 参考訳（メタデータ） (2024-01-29T02:35:42Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳（メタデータ） (2024-01-23T18:59:21Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳（メタデータ） (2023-12-01T19:53:23Z) - Let's Chat to Find the APIs: Connecting Human, LLM and Knowledge Graph
through AI Chain [21.27256145010061]
本稿では,APIレコメンデーションのための知識誘導型クエリ明確化手法を提案する。
我々は、知識グラフ(KG)によって導かれる大きな言語モデル(LLM)を用いて、語彙外障害(OOV)を克服する。
我々のアプローチは、5つのステップからなるAIチェーンとして設計されており、それぞれが別々のLLMコールによって処理される。
論文 参考訳（メタデータ） (2023-09-28T03:31:01Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。
私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
論文 参考訳（メタデータ） (2023-05-15T17:15:40Z) - On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。
開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。
既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
論文 参考訳（メタデータ） (2022-04-05T20:33:24Z) - Holistic Combination of Structural and Textual Code Information for
Context based API Recommendation [28.74546332681778]
APIRec-CST (API Recommendation by Combining Structure and Textual code information) と呼ばれる新しいAPIレコメンデーション手法を提案する。
APIRec-CSTは、API Graph NetworkとCode Token Networkをベースにしたソースコードのテキスト情報とAPI使用率を組み合わせたディープラーニングモデルである。
我々は,この手法が60.3%,81.5%,87.7%,69.4%の上位5,上位10の精度,MRRを達成し,既存のグラフベースの統計手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2020-10-15T04:40:42Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳（メタデータ） (2020-10-05T20:49:26Z) - Logic-Guided Data Augmentation and Regularization for Consistent
Question Answering [55.05667583529711]
本稿では,比較質問に対する応答の精度と整合性を改善する問題に対処する。
提案手法は論理的および言語的知識を利用してラベル付きトレーニングデータを増強し,一貫性に基づく正規化器を用いてモデルを訓練する。
論文 参考訳（メタデータ） (2020-04-21T17:03:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。