論文の概要: Evaluating the Fitness of Ontologies for the Task of Question Generation

• arxiv url: http://arxiv.org/abs/2504.07994v1
• Date: Tue, 08 Apr 2025 17:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:20:15.380676
• Title: Evaluating the Fitness of Ontologies for the Task of Question Generation
• Title（参考訳）: 質問生成作業におけるオントロジーの適合性の評価
• Authors: Samah Alkhuzaey, Floriana Grasso, Terry R. Payne, Valentina Tamma,
• Abstract要約: 本稿では,課題生成タスクの適合度を評価するための要件セットとタスク固有の指標を提案する。 自動質問生成(AQG)における各種性能評価のためのエキスパートベースアプローチ この結果から,様々なタスクが様々な性能レベルにおいて評価され,特徴が質問生成の有効性に大きく影響することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Ontology-based question generation is an important application of semantic-aware systems that enables the creation of large question banks for diverse learning environments. The effectiveness of these systems, both in terms of the calibre and cognitive difficulty of the resulting questions, depends heavily on the quality and modelling approach of the underlying ontologies, making it crucial to assess their fitness for this task. To date, there has been no comprehensive investigation into the specific ontology aspects or characteristics that affect the question generation process. Therefore, this paper proposes a set of requirements and task-specific metrics for evaluating the fitness of ontologies for question generation tasks in pedagogical settings. Using the ROMEO methodology, a structured framework for deriving task-specific metrics, an expert-based approach is employed to assess the performance of various ontologies in Automatic Question Generation (AQG) tasks, which is then evaluated over a set of ontologies. Our results demonstrate that ontology characteristics significantly impact the effectiveness of question generation, with different ontologies exhibiting varying performance levels. This highlights the importance of assessing ontology quality with respect to AQG tasks.
• Abstract（参考訳）: オントロジーに基づく質問生成は、多様な学習環境のための大きな質問バンクの作成を可能にする意味認識システムの重要な応用である。 これらのシステムの有効性は、結果の質問の校正と認知の難しさの両方の観点からも、基礎となるオントロジーの品質とモデリングのアプローチに大きく依存しているため、このタスクに対する彼らの適合性を評価することが不可欠である。 これまで、質問生成プロセスに影響を与える特定のオントロジーの側面や特徴について、包括的な調査は行われていない。 そこで本研究では,課題生成タスクにおけるオントロジーの適合度を評価するための要件セットとタスク固有の指標を提案する。 タスク固有のメトリクスを導出するための構造化フレームワークであるROMO法を用いて,各種のオントロジー(AQG)タスクの性能評価を行い,一連のオントロジーで評価する。 その結果, オントロジーの特徴は, 様々な性能レベルを示すオントロジーによって, 質問生成の有効性に大きく影響していることがわかった。 このことは、AQGタスクに対するオントロジーの品質を評価することの重要性を強調している。

関連論文リスト

• Pitfalls of topology-aware image segmentation [81.19923502845441]
  我々は、不適切な接続選択、見過ごされたトポロジカルアーティファクト、評価指標の不適切な使用を含むモデル評価における致命的な落とし穴を同定する。 本稿では,トポロジを意識した医用画像分割手法の公正かつ堅牢な評価基準を確立するための,行動可能なレコメンデーションセットを提案する。
  論文  参考訳（メタデータ） (2024-12-19T08:11:42Z)
• UKTF: Unified Knowledge Tracing Framework for Subjective and Objective Assessments [3.378008889662775]
  知識追跡技術は、学習者の過去の回答データに基づいて知識状態モデルを確立することができる。 本研究は,主観的および主観的なテスト質問を統合した統合的知識追跡モデルを提案する。
  論文  参考訳（メタデータ） (2024-11-08T04:58:19Z)
• AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
  エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
  論文  参考訳（メタデータ） (2024-10-25T17:06:27Z)
• An Adaptive Framework for Generating Systematic Explanatory Answer in Online Q&A Platforms [62.878616839799776]
  質問応答(QA)性能を向上させるために設計された,革新的なフレームワークであるSynthRAGを提案する。 SynthRAGは動的コンテンツの構造化に適応的なアウトラインを用いることで従来のモデルを改善する。 Zhihuプラットフォーム上のオンラインデプロイメントでは、SynthRAGの回答が注目すべきユーザエンゲージメントを実現していることが明らかになった。
  論文  参考訳（メタデータ） (2024-10-23T09:14:57Z)
• StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
  Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。 実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
  論文  参考訳（メタデータ） (2024-10-11T13:52:44Z)
• A RAG Approach for Generating Competency Questions in Ontology Engineering [1.0044270899550196]
  LLM(Large Language Models)の出現により、このプロセスの自動化と強化が可能になった。 本稿では,LLMを用いてCQの自動生成を行うRAG(Research-augmented Generation)手法を提案する。 2つのドメインエンジニアリングタスクで GPT-4 を用いて実験を行い、ドメインの専門家が構築した地味な CQ と比較する。
  論文  参考訳（メタデータ） (2024-09-13T13:34:32Z)
• Multi-Faceted Question Complexity Estimation Targeting Topic Domain-Specificity [0.0]
  本稿では,NLP手法と知識グラフ解析を併用した,ドメイン固有の質問難度推定のための新しいフレームワークを提案する。 本稿では,トピック検索コスト,トピック・サリエンス,トピック・コヒーレンス,トピック・スーパーファシリティの4つの主要なパラメータを紹介する。 これらの特徴を訓練したモデルにより,質問の難易度を予測する手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-23T05:40:35Z)
• Application of Large Language Models in Automated Question Generation: A Case Study on ChatGLM's Structured Questions for National Teacher Certification Exams [2.7363336723930756]
  本研究では,全国教師認定試験(NTCE)における構造化質問の自動生成における大規模言語モデル(LLM)ChatGLMの適用可能性について検討する。 筆者らは,ChatGLMを指導し,一連の模擬質問を生成するとともに,過去の質問を総合的に比較した。 研究結果は,ChatGLMが生み出した質問は,実際の試験質問と同様,高い合理性,科学的性,実践性を示すことを示している。
  論文  参考訳（メタデータ） (2024-08-19T13:32:14Z)
• Evaluating General-Purpose AI with Psychometrics [43.85432514910491]
  本稿では,大規模言語モデルなどの汎用AIシステムの包括的かつ正確な評価の必要性について論じる。 現在の評価手法は、主に特定のタスクのベンチマークに基づいており、これらの汎用AIシステムを適切に評価するには不十分である。 これらの課題に対処するため,タスク指向評価から構成指向評価への移行を提案する。
  論文  参考訳（メタデータ） (2023-10-25T05:38:38Z)
• Latent Properties of Lifelong Learning Systems [59.50307752165016]
  本稿では,生涯学習アルゴリズムの潜伏特性を推定するために,アルゴリズムに依存しないサロゲート・モデリング手法を提案する。 合成データを用いた実験により,これらの特性を推定するためのアプローチを検証する。
  論文  参考訳（メタデータ） (2022-07-28T20:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。