論文の概要: CQ4OE: A benchmark for assessing LLM-assisted ontology generation from competency questions

• arxiv url: http://arxiv.org/abs/2609.26029v1
• Date: Tue, 22 Sep 2026 11:32:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.343858
• Title: CQ4OE: A benchmark for assessing LLM-assisted ontology generation from competency questions
• Title（参考訳）: CQ4OE:能力質問からのLCM支援オントロジー生成評価のためのベンチマーク
• Abstract要約: コンピテンシー質問(CQ)からのオントロジー生成は、オントロジー工学の労働集約的な段階である。 LLMは有望な自動化機能を提供するが、現在の評価は断片化されている。 ここでは,これらの制限を,CQからLLM生成を体系的かつ再現可能な評価のためのベンチマークであるCQ4OEを用いて解決する。
• 参考スコア（独自算出の注目度）: 9.817718988368602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ontology generation from Competency Questions (CQs) is a central yet labor-intensive phase of Ontology Engineering. While large language models (LLMs) offer promising automation capabilities, current evaluations remain fragmented. Task formulations are heterogeneous, gold standards often lack fine-grained CQ provenance, metrics conflate lexical overlap with structural and logical adequacy, and reference ontologies are not always explicitly designed around the evaluation CQs. Here, we address these limitations with CQ4OE, a benchmark for the systematic and reproducible evaluation of LLM-based ontology generation from CQs. For each ontology in the benchmark, we build a CQ-driven gold OWL ontology with explicit provenance linking each CQ to the classes, properties, and axioms required to answer it. From this resource, we define two complementary evaluation tasks. CQ2Term supports term-level evaluation of CQ-specific class and property prediction over 99 CQs, and CQ2Onto supports ontology-level evaluation over 118 CQs, including hierarchy, property modeling, and axiom-level structure. We demonstrate CQ4OE with experiments using nine LLMs under zero-shot, iterative, and multi-agent generation strategies, showing that LLMs recover explicit vocabulary terms more reliably than creating ontologies, particularly in property modeling, hierarchy construction, and axiom generation.
• Abstract（参考訳）: コンピテンシー質問(CQ)からのオントロジー生成は、オントロジー工学の中心的かつ労働集約的な段階である。 大きな言語モデル(LLM)は有望な自動化機能を提供するが、現在の評価は断片化されている。 タスクの定式化は不均一であり、金の標準は細粒度CQの証明を欠くことが多く、メトリクスは構造的および論理的妥当性と語彙的重複を詳述し、参照オントロジーは必ずしも評価CQを中心に設計されているとは限らない。 本稿では,これらの制約をCQからLLMベースのオントロジー生成の体系的かつ再現可能な評価のためのベンチマークであるCQ4OEを用いて解決する。 ベンチマークの各オントロジーに対して、各CQをクラス、プロパティ、公理にリンクする明確な証明を持つCQ駆動の金OWLオントロジーを構築する。 このリソースから,2つの相補的評価タスクを定義する。 CQ2Termは、99のCQに対して、CQ固有のクラスとプロパティ予測の項レベルの評価をサポートし、CQ2Ontoは、階層構造、プロパティモデリング、公理レベルの構造を含む118のCQに対して、オントロジーレベルの評価をサポートする。 我々は、ゼロショット、反復、マルチエージェント生成戦略の下で、9つのLLMを用いた実験でCQ4OEを実証し、特にプロパティモデリング、階層構造、公理生成において、LLMがオントロジーを生成するよりも明確な語彙の項を確実に復元することを示す。

関連論文リスト

• When CQs Go Wrong: Challenges in CQ Verification with OE-Assist [1.451926072497166]
  本稿では,CQ検証プロセスにおけるユーザパフォーマンスを高めるために,コンピテンシー質問(CQ)の課題と実現可能性について検討する。 その結果、曖昧さや過剰な複雑さを避けるために、CQを公開する前に洗練するツールの必要性が示された。
  論文  参考訳（メタデータ） (2026-06-23T14:17:14Z)
• Life-IQA: Boosting Blind Image Quality Assessment through GCN-enhanced Layer Interaction and MoE-based Feature Decoupling [53.74410422225995]
  ブラインド画像品質評価(BIQA)は視覚経験の評価と最適化において重要な役割を担っている。 既存のBIQAアプローチのほとんどは、バックボーンネットワークから抽出された浅く深い特徴を融合させ、品質予測に不平等な貢献を見落としている。 本稿では,BIQA の浅層・深層特性の寄与について検討し,GCN によるアンダーライン層アンダーライン相互作用と MoE ベースのアンダーラインアンダーラインデカップリング(textbf(Life-IQA))による効果的な品質特徴デコードフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-24T11:59:55Z)
• VSPO: Validating Semantic Pitfalls in Ontology via LLM-Based CQ Generation [4.789422182532788]
  本研究は,大規模言語モデル(LLM)を用いたCQ生成におけるセマンティックバリデーションを目標とした最初の試みである。 本モデルでは,GPT-4.1よりも26%高い精度で28.2%高いリコール率を示し,落とし穴検証のためのCQを生成する。
  論文  参考訳（メタデータ） (2025-11-11T08:56:55Z)
• AgenticIQA: An Agentic Framework for Adaptive and Interpretable Image Quality Assessment [69.06977852423564]
  画像品質評価(IQA)は、人間の視覚系に根ざした知覚品質の定量化と解釈の両方を反映している。 AgenticIQAは、IQAを歪み検出、歪み解析、ツール選択、ツール実行の4つのサブタスクに分解する。 本稿では,IQAエージェントに適した大規模命令データセットであるAgenticIQA-200Kと,VLMベースのIQAエージェントの計画,実行,要約機能を評価するための最初のベンチマークであるAgenticIQA-Evalを紹介する。
  論文  参考訳（メタデータ） (2025-09-30T09:37:01Z)
• The benefits of query-based KGQA systems for complex and temporal questions in LLM era [55.20230501807337]
  大規模言語モデルは質問回答(QA)に優れていますが、マルチホップ推論や時間的質問には苦戦しています。 クエリベースの知識グラフ QA (KGQA) は、直接回答の代わりに実行可能なクエリを生成するモジュール形式の代替手段を提供する。 WikiData QAのためのマルチステージクエリベースのフレームワークについて検討し、課題のあるマルチホップと時間ベンチマークのパフォーマンスを向上させるマルチステージアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-16T06:41:03Z)
• TimeLogic: A Temporal Logic Benchmark for Video QA [64.32208175236323]
  時間的論理的質問を自動的に生成するTimeLogic QA(TLQA)フレームワークを導入する。 私たちはSTAR、Breakfast、AGQA、CrossTaskの4つのデータセットを活用し、カテゴリ毎に2kと10kのQAペアを生成します。 時間的複雑性の異なる16カテゴリの時間論理に対して,ビデオQAモデルの時間的推論性能を評価する。
  論文  参考訳（メタデータ） (2025-01-13T11:12:59Z)
• Discerning and Characterising Types of Competency Questions for Ontologies [0.4757470449749875]
  コンピテンシー質問(CQ)は、スコーピングや検証の段階を導くことで、オントロジー開発に広く使われている。 CQの定式化や良質なCQの評価には極めて限定的なガイダンスがあり、曖昧さや使用不能な定式化といった問題に繋がる。 本論は, 課題の多様さ, 利用状況, 開発課題の多様さを分析し, 理論的基礎に寄与する。
  論文  参考訳（メタデータ） (2024-12-18T10:26:29Z)
• Few-Shot Image Quality Assessment via Adaptation of Vision-Language Models [93.91086467402323]
  Gradient-Regulated Meta-Prompt IQA Framework (GRMP-IQA) は、視覚言語事前学習モデルのCLIPをIQAタスクに効率よく適応させるように設計されている。 GRMP-IQAは、 (i) Meta-Prompt 事前学習モジュールと (ii) Quality-Aware Gradient Regularization の2つのコアモジュールから構成される。
  論文  参考訳（メタデータ） (2024-09-09T07:26:21Z)
• An Experiment in Retrofitting Competency Questions for Existing Ontologies [0.0]
  公理とともにCQを検査することは、CQのスコープと適用性に関する重要な洞察を提供する。 CQは工学的手法の大多数に不可欠なものであるが、工芸品とともにCQを出版する実践は広くは観察されていない。
  論文  参考訳（メタデータ） (2023-11-09T08:57:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。