論文の概要: Automating API Documentation from Crowdsourced Knowledge
- arxiv url: http://arxiv.org/abs/2601.08036v1
- Date: Mon, 12 Jan 2026 22:06:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-14 18:27:18.967227
- Title: Automating API Documentation from Crowdsourced Knowledge
- Title(参考訳): クラウドソーシングによるAPIドキュメンテーションの自動化
- Authors: Bonan Kou, Zijie Zhou, Muhao Chen, Tianyi Zhang,
- Abstract要約: 私たちは、Stack Overflow(SO)に関するオンラインディスカッションから抽出されたAPI知識でAPIドキュメントを生成するAutoDocと呼ばれる新しいアプローチを提案する。
以上の結果から,AutoDocが生成するAPIドキュメントの精度は77.7%,重複度9.5%,公式資料で発見された34.4%の知識を含むことがわかった。
- 参考スコア(独自算出の注目度): 27.13413474270422
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: API documentation is crucial for developers to learn and use APIs. However, it is known that many official API documents are obsolete and incomplete. To address this challenge, we propose a new approach called AutoDoc that generates API documents with API knowledge extracted from online discussions on Stack Overflow (SO). AutoDoc leverages a fine-tuned dense retrieval model to identify seven types of API knowledge from SO posts. Then, it uses GPT-4o to summarize the API knowledge in these posts into concise text. Meanwhile, we designed two specific components to handle LLM hallucination and redundancy in generated content. We evaluated AutoDoc against five comparison baselines on 48 APIs of different popularity levels. Our results indicate that the API documents generated by AutoDoc are up to 77.7% more accurate, 9.5% less duplicated, and contain 34.4% knowledge uncovered by the official documents. We also measured the sensitivity of AutoDoc to the choice of different LLMs. We found that while larger LLMs produce higher-quality API documents, AutoDoc enables smaller open-source models (e.g., Mistral-7B-v0.3) to achieve comparable results. Finally, we conducted a user study to evaluate the usefulness of the API documents generated by AutoDoc. All participants found API documents generated by AutoDoc to be more comprehensive, concise, and helpful than the comparison baselines. This highlights the feasibility of utilizing LLMs for API documentation with careful design to counter LLM hallucination and information redundancy.
- Abstract(参考訳): APIドキュメンテーションは、開発者がAPIを学び、使うのに不可欠である。
しかし、多くの公式API文書は時代遅れで不完全であることが知られている。
この課題に対処するため,Stack Overflow (SO)上でのオンラインディスカッションから抽出したAPI知識でAPIドキュメントを生成する,AutoDocと呼ばれる新しいアプローチを提案する。
AutoDocは、微調整された高密度検索モデルを利用して、SOポストから7種類のAPI知識を識別する。
そして、GPT-4oを使用して、これらの投稿のAPI知識を簡潔なテキストに要約する。
一方,LLMの幻覚と,生成されたコンテンツの冗長性を扱うための2つの具体的コンポーネントを設計した。
私たちはAutoDocを、人気レベルが異なる48のAPIで5つの比較ベースラインと比較した。
以上の結果から,AutoDocが生成するAPIドキュメントの精度は77.7%,重複度9.5%,公式資料で発見された34.4%の知識を含むことがわかった。
また,異なるLCMの選択に対するAutoDocの感度を測定した。
より大きなLLMが高品質なAPIドキュメントを生成するのに対して、AutoDocはより小さなオープンソースモデル(たとえばMistral-7B-v0.3)で同等の結果が得られます。
最後に,AutoDocが生成するAPIドキュメントの有用性を評価するために,ユーザ調査を行った。
参加者全員が、AutoDocで生成されたAPIドキュメントは、比較ベースラインよりも包括的で、簡潔で、役に立つことに気付きました。
このことは、LLMの幻覚と情報冗長性に対抗するために、慎重に設計したAPIドキュメントにLLMを使うことの可能性を強調している。
関連論文リスト
- Lightweight Model Editing for LLMs to Correct Deprecated API Recommendations [15.586818028794942]
事前訓練された大規模言語モデル(LLM)は、コード補完タスクにおいて強力なパフォーマンスを示している。
LLMは、将来のサードパーティライブラリではサポートされない非推奨のAPIを頻繁に生成する。
本稿では,AdaLoRA-Lを提案する。AdaLoRA-Lは"共通APIレイヤ"(すべてのAPIで高い重要性を持ち,一般的な知識を保存し,編集から除外されたレイヤ)を定義し,編集を"特定APIレイヤ"に限定する。
実験の結果、AdaLoRA-Lは他の評価指標と同等の性能を維持しながら、比例性を大幅に改善することが示された。
論文 参考訳(メタデータ) (2025-11-26T03:36:34Z) - OASBuilder: Generating OpenAPI Specifications from Online API Documentation with Large Language Models [10.54692787937075]
OASBuilderは、長く多様なAPIドキュメントページを一貫性のあるマシン可読性のAPI仕様に変換するフレームワークである。
OASBuilderはエンタープライズ環境でうまく実装されており、何千時間もの手作業が省かれています。
論文 参考訳(メタデータ) (2025-07-07T14:36:13Z) - ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。
実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
論文 参考訳(メタデータ) (2024-12-06T19:00:15Z) - A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models [14.665460257371164]
GitHub CopilotやChatGPTのような大規模言語モデル(LLM)は、コード生成の強力なツールとして登場した。
API指向コード生成におけるLLMの機能を評価するために設計されたフレームワークであるAutoAPIEvalを提案する。
論文 参考訳(メタデータ) (2024-09-23T17:22:09Z) - SoAy: A Solution-based LLM API-using Methodology for Academic Information Seeking [59.59923482238048]
SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。
ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。
その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
論文 参考訳(メタデータ) (2024-05-24T02:44:14Z) - SpeCrawler: Generating OpenAPI Specifications from API Documentation
Using Large Language Models [8.372941103284774]
SpeCrawlerは、さまざまなAPIドキュメントからOpenAPI仕様を生成する包括的なシステムである。
本稿では,実証的証拠とケーススタディに支えられたSpeCrawlerの方法論について考察する。
論文 参考訳(メタデータ) (2024-02-18T15:33:24Z) - You Can REST Now: Automated REST API Documentation and Testing via LLM-Assisted Request Mutations [8.158964648211002]
RESTSpecITは、ドキュメントを推論し、REST APIのブラックボックステストを実行する最初の自動化アプローチです。
当社のアプローチでは,最先端のツールに比べて最小限のユーザ入力が必要になります。
我々は,DeepSeek V3, GPT-4.1, GPT-3.5の3つの最先端LCMを用いてツールの品質を評価する。
論文 参考訳(メタデータ) (2024-02-07T18:55:41Z) - Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。
プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。
TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
論文 参考訳(メタデータ) (2023-07-28T07:43:13Z) - Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。
BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。
非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
論文 参考訳(メタデータ) (2023-05-10T16:40:52Z) - API2Com: On the Improvement of Automatically Generated Code Comments
Using API Documentations [0.0]
コメント生成の知識リソースとしてAPI Docs(Application Programming Interface Documentations)を利用するモデルであるAPI2Comを提案する。
このモデルを130,000以上のメソッドからなる大規模なJavaデータセットに適用し,TransformerとRNNベースのアーキテクチャを用いて評価する。
論文 参考訳(メタデータ) (2021-03-19T07:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。