論文の概要: How Well Do LLMs Generate Taxonomies in the SE Domain? A Multi-perspective Evaluation Framework
- arxiv url: http://arxiv.org/abs/2608.01592v1
- Date: Mon, 03 Aug 2026 01:56:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.295499
- Title: How Well Do LLMs Generate Taxonomies in the SE Domain? A Multi-perspective Evaluation Framework
- Title（参考訳）: LLMはSEドメインの分類学をいかに生み出すか? マルチパースペクティブな評価フレームワーク
- Abstract要約: 分類学(Taxonomies)は、ソフトウェア工学(SE)研究における異種観測の組織化のための共通の概念的枠組みを提供する。
LLM(Large Language Models)の進歩は、SEドメイン以外の自動分類生成手法の出現につながっているが、技術的に複雑なSEアーティファクトへの適用性はまだ不明である。
本報告では,SEアーティファクト上での最先端の自動化手法の動作に関する総合的な実証評価について述べる。
- 参考スコア（独自算出の注目度）: 4.372207458643732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Taxonomies provide a shared conceptual framework for organizing heterogeneous observations in software engineering (SE) research. Manually constructing such taxonomies is labor-intensive and requires annotators with expertise in the SE domain. While advances in Large Language Models (LLMs) have led to the emergence of automated taxonomy generation methods outside the SE domain, their applicability to technically complex SE artifacts remains unclear. In this experience paper, we present the first comprehensive empirical evaluation of how state-of-the-art automated methods perform on SE artifacts through a multi-perspective evaluation framework, including taxonomy quality, alignment with taxonomies defined by human experts, reliability under independent annotation, and efficiency. To support this evaluation, we systematically collect seven SE papers with publicly available artifacts and human-defined taxonomies, and conduct experiments using two automated methods (TnT-LLM and CLIMB) with five state-of-the-art LLMs. Our evaluation reveals a clear trade-off: TnT-LLM constructs high-quality taxonomies comparable to human-defined ones but incurs substantially higher cost and runtime and tends to generate overly complex taxonomies, whereas CLIMB is 15--40$\times$ faster and 8--49$\times$ cheaper but tends to score lower on quality when technical inference beyond surface-level similarity is required. These findings suggest that TnT-LLM and CLIMB can be used in practical situations in the SE domain, while researchers should first assess the complexity of the generated taxonomies and their cost using a subset of the target data to decide whether to use automated methods or human experts. Our work represents a first step toward a systematic understanding of automated taxonomy generation in SE, offering actionable insights for future research and practice.
- Abstract（参考訳）: 分類学(Taxonomies)は、ソフトウェア工学(SE)研究における異種観測の組織化のための共通の概念的枠組みを提供する。
このような分類体系を手作業で構築するには労働集約的であり、SEドメインの専門知識を持つアノテータが必要である。
大規模言語モデル(LLM)の進歩は、SEドメイン以外の自動分類生成手法の出現につながっているが、技術的に複雑なSEアーティファクトへの適用性は未だ不明である。
本稿では,分類学の質,人間専門家が定義した分類学との整合性,独立アノテーションによる信頼性,効率といった多視点的な評価枠組みを通じて,SEアーティファクトに対して最先端の自動化手法がどのように機能するかを総合的に評価する。
この評価を支援するために, 公開されている人工物と人為的分類を用いた7つのSE論文を体系的に収集し, 5つの最先端LCMを用いた2つの自動手法(TnT-LLMとCLIMB)を用いて実験を行った。
TnT-LLMは、人間の定義に匹敵する高品質な分類体系を構築するが、コストとランタイムが著しく高く、非常に複雑な分類体系を生成する傾向にある。
これらの結果から,TnT-LLMとCLIMBはSEドメインの実践的な状況において利用可能であることが示唆された。
我々の研究は、SEにおける自動分類生成の体系的理解に向けた第一歩であり、将来の研究や実践に実用的な洞察を提供する。
関連論文リスト
- AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - Towards a Science of Collective AI: LLM-based Multi-Agent Systems Need a Transition from Blind Trial-and-Error to Rigorous Science [70.3658845234978]
大規模言語モデル(LLM)はマルチエージェントシステム(MAS)の機能を大幅に拡張した。
この急速な進歩にもかかわらず、この分野はいまだに実証的な試行錯誤に大きく依存している。
このボトルネックは、帰属の曖昧さに起因している。
本稿では,協調運転要因を体系的に同定する要因帰属パラダイムを提案する。
論文 参考訳（メタデータ） (2026-02-05T04:19:52Z) - TaxoAlign: Scholarly Taxonomy Generation Using Language Models [14.54227999705238]
分類学は、研究者が階層的な方法で知識を構造化し、ナビゲートするのを助ける重要な役割を担っている。
既存の自動サーベイ生成手法は、生成したサーベイの構造と人間の専門家が書いたものとは比較しない。
本研究では,人為的・自動的間のギャップを埋めることのできる自動分類法を提案する。
論文 参考訳（メタデータ） (2025-10-20T07:49:51Z) - Context-Aware Hierarchical Taxonomy Generation for Scientific Papers via LLM-Guided Multi-Aspect Clustering [59.54662810933882]
既存の分類体系の構築手法は、教師なしクラスタリングや大きな言語モデルの直接的プロンプトを利用しており、コヒーレンスと粒度の欠如が多かった。
LLM誘導型マルチアスペクト符号化と動的クラスタリングを統合したコンテキスト対応階層型階層型分類生成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-23T15:12:58Z) - Building Data-Driven Occupation Taxonomies: A Bottom-Up Multi-Stage Approach via Semantic Clustering and Multi-Agent Collaboration [10.386888517619997]
高品質でデータ駆動型の作業を自動化するフレームワークであるCLIMBを紹介します。
3つの多様な実世界のデータセットから、CLIMBは既存の手法よりも一貫性があり、スケーラブルであることを示す。
論文 参考訳（メタデータ） (2025-09-19T09:17:48Z) - Transforming Expert Knowledge into Scalable Ontology via Large Language Models [0.0]
従来の分類学的アライメントへのアプローチは、概念ペアのエキスパートレビューに依存している。
本稿では,大規模言語モデル(LLM)とエキスパートキャリブレーション,反復的プロンプト最適化を組み合わせた新しいフレームワークを提案する。
F1スコアは0.97で、人間のベンチマーク0.68をほぼ上回りました。
論文 参考訳（メタデータ） (2025-06-10T03:48:26Z) - An AI-Powered Research Assistant in the Lab: A Practical Guide for Text Analysis Through Iterative Collaboration with LLMs [0.7255608805275865]
本稿では,LLMを用いた非構造化データの効率的な開発,テスト,適用のためのステップバイステップチュートリアルを提案する。
我々は,データセットをレビューし,生命ドメインの分類を作成,即時かつ直接的な修正を通じて分類を評価・洗練し,分類を検証し,インターコーダ契約を評価し,データセット全体を高いインターコーダ信頼性で分類する手法を実証する。
論文 参考訳（メタデータ） (2025-05-14T18:32:18Z) - SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。
SCANには4つの重要なコンポーネントが含まれている。
TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。
RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。
PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
論文 参考訳（メタデータ） (2025-05-10T16:52:40Z) - Do I look like a `cat.n.01` to you? A Taxonomy Image Generation Benchmark [63.97125827026949]
本稿では、ゼロショット設定でテキスト・ツー・イメージ・モデルを用いて分類概念の画像を生成する可能性について検討する。
分類概念を理解し、関連する高品質の画像を生成するモデルの能力を評価するベンチマークが提案されている。
9つの新しい分類関連テキスト・ツー・イメージ・メトリクスと人間のフィードバックを用いて12のモデルを評価した。
論文 参考訳（メタデータ） (2025-03-13T13:37:54Z) - Prompting or Fine-tuning? A Comparative Study of Large Language Models
for Taxonomy Construction [0.8670827427401335]
構造的制約を考慮した分類学構築のための一般的な枠組みを提案する。
我々は,超音速分類法と新しいコンピュータサイエンス分類法データセットで実施される即興的および微調整的アプローチを比較した。
論文 参考訳（メタデータ） (2023-09-04T16:53:17Z) - Octet: Online Catalog Taxonomy Enrichment with Self-Supervision [67.26804972901952]
オンラインカタログエンリッチメンTのための自己教師型エンドツーエンドフレームワークOctopを提案する。
本稿では,用語抽出のためのシーケンスラベリングモデルをトレーニングし,分類構造を捉えるためにグラフニューラルネットワーク(GNN)を用いることを提案する。
Octetは、オンラインカタログを、オープンワールド評価の2倍に強化する。
論文 参考訳（メタデータ） (2020-06-18T04:53:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。