論文の概要: From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints

• arxiv url: http://arxiv.org/abs/2605.28483v1
• Date: Wed, 27 May 2026 13:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.083286
• Title: From Learning Resources to Competencies: LLM-Based Tagging with Evidence and Graph Constraints
• Title（参考訳）: 学習資源から能力へ:エビデンスとグラフ制約によるLCMベースのタグ付け
• Authors: Ngoc Luyen Le, Marie-Hélène Abel, Bertrand Laforge,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を制約付きエビデンス生成タグとして使用するエンドツーエンドアライメントパイプラインを提案する。 我々は,コンピュータサイエンス部門の技術系学部における能力基準から構築したデータセットに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 26.702635306128865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linking learning resources to a structured competency framework is key to enabling competency-based search and curriculum analytics in Learning Management Systems (LMS). However, manual tagging is labor-intensive, and fully automatic methods often lack transparency. In this paper, we present an end-to-end alignment pipeline that uses a large language model (LLM) as a constrained, evidence-producing tagger. LMS resources -both instructional content and assessments -are first segmented into meaningful pedagogical fragments. For each fragment, a small set of candidate competencies is retrieved from structured competency profiles enriched with graph-based context. The LLM then selects the most relevant competencies from this set and provides supporting evidence spans from the fragment text. These predictions are refined using the structure of the competency graph and aggregated at the resource level. We evaluate our approach on a dataset built from the Computer Science department's competency referential at the Université de Technologie de Compiègne (UTC), covering 22 competencies across multiple course materials. Our LLM+BM25+Graph (LBG) pipeline achieves strong results, with a micro-F1 of 0.57 and macro-F1 of 0.50 at the fragment level, 0.51 macro-F1 at the resource level, and an MRR of 0.82outperforming zero-shot and few-shot LLM variants, retrieval/similarity baselines, and supervised classifiers -while also producing more mechanically traceable evidence spans to support human auditing and educational analysis.
• Abstract（参考訳）: 学習資源を構造化能力フレームワークにリンクすることは、学習管理システム(LMS)における能力に基づく検索とカリキュラムの分析を可能にする鍵となる。 しかし、手動のタグ付けは労働集約的であり、完全に自動化された手法は透明性を欠いていることが多い。 本稿では,大規模言語モデル(LLM)を制約付きエビデンス生成タグとして用いたエンドツーエンドアライメントパイプラインを提案する。 LMSリソース(教育内容と評価の両方)は、まず意味のある教育的断片に分割される。 各フラグメントに対して、グラフベースのコンテキストに富んだ構造化された能力プロファイルから、候補能力の小さなセットを検索する。 LLMは次に、このセットから最も関連性の高い能力を選択し、断片テキストから支持するエビデンスを提供する。 これらの予測は、能力グラフの構造を用いて洗練され、資源レベルで集約される。 我々は,コンピュータ科学部のコンピテンシー・コンピエグヌ大学(UTC)におけるコンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー・コンピテンシー(UTC)から構築したデータセットに対するアプローチを評価した。 LLM+BM25+Graph(LBG)パイプラインは,マイクロF1が0.57,マクロF1が0.50,リソースレベルでは0.51マクロF1,MRRが0.82,ゼロショット,少数ショットのLLM変異,検索・類似性ベースライン,教師付き分類器など,強力な結果を得るとともに,人間の監査・教育分析を支援するために,より機械的に追跡可能な証拠を生成する。

関連論文リスト

• KG-First, LLM-Fallback: A Hybrid Microservice for Grounded Skill Search and Explanation [26.702635306128865]
  ESCO、ROM、O*NETのような権威的な能力のフレームワークは、教育と労働市場のニーズの整合に不可欠であるが、その技術的な複雑さと構造的不均一性は、教育者による実践的な採用を妨げる。 本稿では、これらのリソースを実績保存知識グラフ(KG)に統合することで、このギャップを埋めるように設計されたマイクロサービスであるSkillGraph-Serviceを紹介する。 結果として得られるアーキテクチャは、複雑なスキルデータをデジタル学習エコシステムに統合するための実用的でスケーラブルで監査可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-05-02T19:07:56Z)
• SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
  textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。 SCANには4つの重要なコンポーネントが含まれている。 TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。 RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。 PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
  論文  参考訳（メタデータ） (2025-05-10T16:52:40Z)
• From Course to Skill: Evaluating LLM Performance in Curricular Analytics [2.5104969073405976]
  大規模言語モデル(LLM)は、大規模で非構造化のカリキュラムデータを扱うことを約束している。 我々は,LLMや従来のNLP法に基づく4つのテキストアライメント戦略を体系的に評価した。 本研究は, 簡潔かつ抽象的なカリキュラム文書の分析において, LLMsが持つ可能性を明らかにするとともに, その性能がモデル選択やプロンプト戦略に大きく依存することを明らかにする。
  論文  参考訳（メタデータ） (2025-05-05T02:46:23Z)
• KcMF: A Knowledge-compliant Framework for Schema and Entity Matching with Fine-tuning-free LLMs [14.376057807754668]
  大規模言語モデル(LLM)は、タスク命令に関する幻覚や混乱に悩まされる。 本研究では、ドメイン固有の微調整を必要とせず、これらの問題に対処する知識-互換性マッチングフレームワーク(KcMF)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T11:50:02Z)
• FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
  FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。 本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
  論文  参考訳（メタデータ） (2024-02-28T19:23:27Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。