論文の概要: A Comparative Study of Competency Question Elicitation Methods from Ontology Requirements

• arxiv url: http://arxiv.org/abs/2507.02989v1
• Date: Tue, 01 Jul 2025 14:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.50528
• Title: A Comparative Study of Competency Question Elicitation Methods from Ontology Requirements
• Title（参考訳）: オントロジー要求からのコンピテンシー質問応答法の比較検討
• Authors: Reham Alharbi, Valentina Tamma, Terry R. Payne, Jacopo de Berardinis,
• Abstract要約: 本稿では,3つの異なるCQ定式化手法の実証評価を行った。 文化遺産の要件セットから,それぞれのアプローチを用いてCQを生成する。 受け入れ可能性、あいまいさ、妥当性、複雑さ、可読性など、さまざまな側面でそれらを評価します。
• 参考スコア（独自算出の注目度）: 0.22499166814992444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Competency Questions (CQs) are pivotal in knowledge engineering, guiding the design, validation, and testing of ontologies. A number of diverse formulation approaches have been proposed in the literature, ranging from completely manual to Large Language Model (LLM) driven ones. However, attempts to characterise the outputs of these approaches and their systematic comparison are scarce. This paper presents an empirical comparative evaluation of three distinct CQ formulation approaches: manual formulation by ontology engineers, instantiation of CQ patterns, and generation using state of the art LLMs. We generate CQs using each approach from a set of requirements for cultural heritage, and assess them across different dimensions: degree of acceptability, ambiguity, relevance, readability and complexity. Our contribution is twofold: (i) the first multi-annotator dataset of CQs generated from the same source using different methods; and (ii) a systematic comparison of the characteristics of the CQs resulting from each approach. Our study shows that different CQ generation approaches have different characteristics and that LLMs can be used as a way to initially elicit CQs, however these are sensitive to the model used to generate CQs and they generally require a further refinement step before they can be used to model requirements.
• Abstract（参考訳）: コンピテンシー質問(コンピテンシー質問、CQ)は、オントロジーの設計、検証、テストの指針となる知識工学において重要である。 完全に手動からLLM(Large Language Model)駆動のものまで、さまざまな定式化アプローチが文献で提案されている。 しかし、これらの手法の出力を特徴づけようとする試みや、それらの体系的な比較は少ない。 本稿では、オントロジー技術者による手動定式化、CQパターンのインスタンス化、最先端のLCMを用いた生成という、3つの異なるCQ定式化アプローチの実証的比較評価について述べる。 文化遺産の要件の集合からそれぞれのアプローチを使用してCQを生成し、受け入れ可能性、あいまいさ、妥当性、可読性、複雑さの度合いでそれらを評価します。 私たちの貢献は2つあります。 (i)異なる手法を用いて同一ソースから生成されたCQの最初のマルチアノテータデータセット (II) それぞれのアプローチから得られたCQの特性を系統的に比較した。 本研究は, 異なるCQ生成手法に異なる特徴があり, 初期のCQを抽出する方法としてLLMを用いることができることを示すが, これらはCQの生成に使用されるモデルに敏感であり, 要求をモデル化するためには, より精細なステップが必要であることを概ね示している。

関連論文リスト

• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
  大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。 本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。 我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-02-07T14:30:12Z)
• Discerning and Characterising Types of Competency Questions for Ontologies [0.4757470449749875]
  コンピテンシー質問(CQ)は、スコーピングや検証の段階を導くことで、オントロジー開発に広く使われている。 CQの定式化や良質なCQの評価には極めて限定的なガイダンスがあり、曖昧さや使用不能な定式化といった問題に繋がる。 本論は, 課題の多様さ, 利用状況, 開発課題の多様さを分析し, 理論的基礎に寄与する。
  論文  参考訳（メタデータ） (2024-12-18T10:26:29Z)
• AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
  エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
  論文  参考訳（メタデータ） (2024-10-25T17:06:27Z)
• VerifierQ: Enhancing LLM Test Time Compute with Q-Learning-based Verifiers [7.7705926659081275]
  VerifierQは、オフラインQ学習を検証モデルに統合する新しいアプローチである。 LLMにQ-learningを適用する上での3つの課題に対処する。 本手法は,並列Q値計算と学習効率の向上を実現する。
  論文  参考訳（メタデータ） (2024-10-10T15:43:55Z)
• A RAG Approach for Generating Competency Questions in Ontology Engineering [1.0044270899550196]
  LLM(Large Language Models)の出現により、このプロセスの自動化と強化が可能になった。 本稿では,LLMを用いてCQの自動生成を行うRAG(Research-augmented Generation)手法を提案する。 2つのドメインエンジニアリングタスクで GPT-4 を用いて実験を行い、ドメインの専門家が構築した地味な CQ と比較する。
  論文  参考訳（メタデータ） (2024-09-13T13:34:32Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• An Experiment in Retrofitting Competency Questions for Existing Ontologies [0.0]
  公理とともにCQを検査することは、CQのスコープと適用性に関する重要な洞察を提供する。 CQは工学的手法の大多数に不可欠なものであるが、工芸品とともにCQを出版する実践は広くは観察されていない。
  論文  参考訳（メタデータ） (2023-11-09T08:57:39Z)
• DQ-LoRe: Dual Queries with Low Rank Approximation Re-ranking for In-Context Learning [66.85379279041128]
  そこで本研究では,Dual Queries と Low-rank approximation Re- rank を利用して,文脈内学習のための例を自動選択するフレームワークを提案する。 DQ-LoRe は GPT-4 の自動選択において最先端の手法よりも優れ、92.5% から94.2% まで性能が向上した。
  論文  参考訳（メタデータ） (2023-10-04T16:44:37Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。