論文の概要: ASTAGEN: Empirical Evaluation of Automated SATD Taxonomy Generation with LLMs
- arxiv url: http://arxiv.org/abs/2506.09601v1
- Date: Wed, 11 Jun 2025 10:59:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 06:35:02.874626
- Title: ASTAGEN: Empirical Evaluation of Automated SATD Taxonomy Generation with LLMs
- Title（参考訳）: ASTAGEN:LLMを用いたSATD分類自動生成の実証評価
- Authors: Sota Nakashima, Yuta Ishimoto, Masanari Kondo, Tao Xiao, Yasutaka Kamei,
- Abstract要約: 自己承認技術的負債(英: Self-admitted Technical debt、SATD)とは、ソフトウェアの品質を低下させる最適化コードのことである。
本研究では,大規模言語モデル(LLM)を用いたSATD分類の自動化に向けた最初のステップであるASTAGENを提案する。
我々は、SATDデータセット上のASTAGENを量子ソフトウェア、スマートコントラクト、機械学習の3つの領域から評価する。
- 参考スコア（独自算出の注目度）: 2.287480001913659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Technical debt refers to suboptimal code that degrades software quality. When developers intentionally introduce such debt, it is called self-admitted technical debt (SATD). Since SATD hinders maintenance, identifying its categories is key to uncovering quality issues. Traditionally, constructing such taxonomies requires manually inspecting SATD comments and surrounding code, which is time-consuming, labor-intensive, and often inconsistent due to annotator subjectivity. This study presents ASTAGEN, an initial step toward automating SATD taxonomy generation using large language models (LLMs). Given a comment and its surrounding code, ASTAGEN first generates a concise explanation for each SATD comment, then incrementally generates and updates categories to construct a taxonomy. We evaluate ASTAGEN on SATD datasets from three domains: quantum software, smart contracts, and machine learning. It successfully recovers domain-specific categories reported in prior work, such as Layer Configuration in machine learning. Compared to a naive use of an LLM, ASTAGEN produces more consistent category assignments due to its explanation-driven, iterative design. It also completes taxonomy generation in under two hours and for less than one USD, even on the largest dataset. These results suggest that while full automation remains challenging, ASTAGEN is able to support semi-automated taxonomy construction. Furthermore, our work opens up avenues for future work, such as automatic taxonomy generation in other areas.
- Abstract（参考訳）: 技術的負債とは、ソフトウェアの品質を低下させる最適下限のコードを指す。
このような負債を開発者が意図的に導入する場合、それは自己許容技術的負債(SATD)と呼ばれる。
SATDはメンテナンスを妨げるため、そのカテゴリを特定することが品質問題を明らかにする鍵となる。
伝統的に、このような分類体系を構築するには、SATDのコメントや周辺のコードを手動で検査する必要がある。
本研究では,大規模言語モデル(LLM)を用いたSATD分類の自動化に向けた最初のステップであるASTAGENについて述べる。
コメントとその周辺コードが与えられた後、ASTAGENはまずSATDコメントごとに簡潔な説明を生成し、次に段階的にカテゴリを生成して更新して分類を作成する。
我々は、SATDデータセット上のASTAGENを量子ソフトウェア、スマートコントラクト、機械学習の3つの領域から評価する。
機械学習におけるレイヤ構成など、以前の作業で報告されたドメイン固有カテゴリの回復に成功している。
LLMに比べて、ASTAGENは説明駆動の反復設計のため、より一貫したカテゴリ割り当てを生成する。
また、最大のデータセットであっても、2時間以内で分類生成を完了し、1USD以下で完了する。
これらの結果は、完全な自動化は依然として困難であるが、ASTAGENは半自動分類構築をサポートすることができることを示唆している。
さらに,本研究は,他の分野における分類学の自動生成など,今後の研究への道を開く。
関連論文リスト
- Exploring a Large Language Model for Transforming Taxonomic Data into OWL: Lessons Learned and Implications for Ontology Development [63.74965026095835]
本稿では,種分類におけるChatGPT-4を用いた農業製品型オントロジー(APTO)におけるオルガニズムモジュールの開発について検討する。
本手法では,ChatGPT-4を用いてGBIF Backbone APIからデータを抽出し,APTOのさらなる統合のためのファイルを生成する。
1つは、BrowserOPプラグインを介してタスクを実行するためのChatGPT-4の一連のプロンプトを発行すること、2つは、タスクを実行するためのPythonアルゴリズムを設計するためにChatGPT-4を指示することである。
論文 参考訳（メタデータ） (2025-04-25T19:05:52Z) - Refining Wikidata Taxonomy using Large Language Models [2.392329079182226]
我々は,Large Language Models (LLM) とグラフマイニング技術を組み合わせたWikidata分類の新バージョンであるWiKCを提案する。
リンクを切断したり、クラスをマージしたりといった分類の操作は、オープンソースのLCM上でゼロショットプロンプトの助けを借りて行われる。
論文 参考訳（メタデータ） (2024-09-06T06:53:45Z) - AutoBencher: Towards Declarative Benchmark Construction [74.54640925146289]
AutoBencherを使って、数学、多言語性、知識、安全性のためのデータセットを作成しています。
AutoBencherのスケーラビリティにより、詳細なカテゴリ知識をテストでき、既存のベンチマークよりも22%のモデルエラー(難易度)を誘発するデータセットを作成することができる。
論文 参考訳（メタデータ） (2024-07-11T10:03:47Z) - Using Zero-shot Prompting in the Automatic Creation and Expansion of
Topic Taxonomies for Tagging Retail Banking Transactions [0.0]
本研究は、命令ベース微調整LDMを用いたトピックの構築と拡張のための教師なし手法を提案する(大規模言語モデル)。
既存の分類を新しい用語で拡張するために、ゼロショットプロンプトを使用して、新しいノードを追加する場所を見つける。
得られたタグを使って、小売銀行のデータセットから商人を特徴づけるタグを割り当てます。
論文 参考訳（メタデータ） (2024-01-08T00:27:16Z) - DAnTE: a taxonomy for the automation degree of software engineering
tasks [2.356908851188234]
ソフトウェア工学のための自動化分類法であるDAnTEを提案する。
ソフトウェアエンジニアリングの実践において、過去と現在に使われているいくつかのツールを評価します。
中期・長期に新しいツールが出現する可能性について論じる。
論文 参考訳（メタデータ） (2023-09-26T13:04:58Z) - Towards Automatically Addressing Self-Admitted Technical Debt: How Far
Are We? [17.128428286986573]
本稿では,ニューラルベース生成モデルによって技術的負債を自動的に返済できる範囲を実験的に検討する。
595のオープンソースプロジェクトから5,039件の自己申告技術的負債(SATD)の削除日程を抽出することから始めます。
このデータセットを用いて、7つの異なる生成ディープラーニング(DL)モデル構成を実験する。
論文 参考訳（メタデータ） (2023-08-17T12:27:32Z) - RaTE: a Reproducible automatic Taxonomy Evaluation by Filling the Gap [0.0]
我々は、自動分類学評価(ATE)は分類学の構築と同じくらい重要であると論じている。
本稿では,大規模な事前学習型言語モデルに依存する,ラベルなしの自動分類法であるRaTEを提案する。
論文 参考訳（メタデータ） (2023-07-19T01:37:31Z) - Who Should Go First? A Self-Supervised Concept Sorting Model for
Improving Taxonomy Expansion [50.794640012673064]
データとビジネスの範囲が実際のアプリケーションで拡大するにつれ、既存の概念を組み込むために拡張する必要がある。
分類学の拡張に関する以前の研究は、新しい概念を独立して同時に処理し、それらの間の潜在的な関係と操作を挿入する適切な順序を無視します。
本稿では,新しい概念の中で局所ハイパーニム・ハイプニム構造を同時に発見し,挿入順序を決定する新しい自己教師付きフレームワークであるtaxoorderを提案する。
論文 参考訳（メタデータ） (2021-04-08T11:00:43Z) - Octet: Online Catalog Taxonomy Enrichment with Self-Supervision [67.26804972901952]
オンラインカタログエンリッチメンTのための自己教師型エンドツーエンドフレームワークOctopを提案する。
本稿では,用語抽出のためのシーケンスラベリングモデルをトレーニングし,分類構造を捉えるためにグラフニューラルネットワーク(GNN)を用いることを提案する。
Octetは、オンラインカタログを、オープンワールド評価の2倍に強化する。
論文 参考訳（メタデータ） (2020-06-18T04:53:07Z) - TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced
Graph Neural Network [62.12557274257303]
分類学は機械解釈可能な意味論から成り、多くのウェブアプリケーションに貴重な知識を提供する。
そこで我々は,既存の分類学から,クエリの集合を自動生成するTaxoExpanという,新しい自己教師型フレームワークを提案する。
本研究では,(1)既存の分類学におけるアンカー概念の局所構造を符号化する位置強調グラフニューラルネットワーク,(2)学習モデルが自己超越データにおけるラベルノイズに敏感になるようなノイズローバスト学習の2つの手法を開発する。
論文 参考訳（メタデータ） (2020-01-26T21:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。