論文の概要: Potential for Enhanced Learning in Machine Learning Classes by Using Wiki LLM Indexing
- arxiv url: http://arxiv.org/abs/2609.25303v1
- Date: Mon, 21 Sep 2026 18:53:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.085537
- Title: Potential for Enhanced Learning in Machine Learning Classes by Using Wiki LLM Indexing
- Title(参考訳): Wiki LLMインデックスを用いた機械学習授業における強化学習の可能性
- Abstract要約: そこで本研究では,同じ教室コーパス上での2つの知識表現の直接比較を行った。
我々は,シングルファクトリコール,クロスユニット概念のリンク,合成と説明,およびシラバス修正後の通貨にまたがる59の質問を評価した。
コンパイルされたwikiは正確で接地されたままで(9.93; 100%接地された資料を参照)、検索は低いスコアで、明らかに接地されていない(8.14; 64%)。
- 参考スコア(独自算出の注目度): 0.18044750118599504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly deployed as course-specific tutors, but their usefulness depends on grounding in vetted instructional materials that are often revised mid-semester. Our prior work built a multimodal retrieval-augmented generation (RAG) system over an authentic machine learning course corpus (Foundations of Machine Learning) and found that retrieval improved contextual grounding, but that fixed retrieval strategies were suboptimal. That motivates a different question: whether how a corpus is structured at ingest time matters more than how much is retrieved at query time. We present a controlled head-to-head comparison of two knowledge representations over an identical classroom corpus: (A) vector RAG, replicating the best-performing configuration from our prior study, and (B) an LLM-compiled wiki (Karpathy framework), in which the corpus is synthesized at ingest into linked concept pages with explicit cross-references and citations back to source materials. We evaluate 59 questions spanning single-fact recall, cross-unit concept linking, synthesis and explanation, and currency after a syllabus revision, scored by an LLM judge against a human-authored rubric. Both representations answered single-fact questions about equally well (9.33 vs. 9.96 of 10), but diverged sharply on questions requiring links across course units. The compiled wiki remained accurate and grounded (9.93; 100% grounded in cited sources), while retrieval scored lower and was markedly less grounded (8.14; 64%). The wiki's citations let students and instructors trace any claim back to the lecture that introduced it, adding a layer of dynamic retrieval that machine learning courses require. While further testing is needed, instructors using AI to support learning in ML courses should consider wiki-based structure for its potential to support foundational elements of best practice.
- Abstract(参考訳): 大規模言語モデルは、コース固有のチューターとしてますます多くデプロイされているが、その有用性は、中学期にしばしば改訂される試験的な教材の接地に依存している。
我々の以前の研究は、機械学習コースコーパス(Foundations of Machine Learning)上にマルチモーダル検索拡張生成(RAG)システムを構築し、検索がコンテキストグラウンドを改善することを発見したが、固定された検索戦略は最適ではないことがわかった。
コーパスがどの程度の時間で構造されているかは、クエリ時にどれだけの量を取得しているかよりも重要である。
A)ベクターRAGと(B)LLMコンパイルwiki(Karpathy framework)の2つの知識表現を同一の教室内コーパス上で直接比較し,リンクされた概念ページにコーパスを挿入し,資料への参照と引用を明示的に生成する。
リコール,クロスユニット概念のリンク,合成と説明,およびシラバス修正後の通貨を対象とする59の質問を,LLM判事が人為的なルーリックに対して評価した。
2つの表現は、同じくらい良い1項目の質問(9.33対10の9.96対)に答えたが、コース単位間のリンクを必要とする質問に大きく偏った。
コンパイルされたwikiは正確で接地され(9.93; 100%接地されている)、検索は低得点(8.14; 64%)であった。
ウィキの引用によって、学生やインストラクターは、それを導入した講義にあらゆる主張を遡り、機械学習のコースに必要な動的検索のレイヤーを追加することができる。
さらなるテストが必要であるが、機械学習コースでの学習を支援するためにAIを使用するインストラクターは、ベストプラクティスの基礎的要素をサポートする可能性のために、wikiベースの構造を検討する必要がある。
関連論文リスト
- Code as Representation: A Compilable Parsing Paradigm for Academic Documents [50.40789738182074]
Compilable Academic Document Parsing (CADP)は、コンテキストラプラス実行可能なPythonとして全ページを再構築するパラダイムである。
テキストと複数のSAEタイプを含む全学術ページのエキスパート検証ベンチマークであるCADP-Benchを紹介する。
その結果、フロンティアモデルでさえも、高忠実度で実行可能な再構築を行うのに苦戦していることがわかった。
論文 参考訳(メタデータ) (2026-08-18T09:10:43Z) - The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。
提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。
本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
論文 参考訳(メタデータ) (2026-03-11T19:51:33Z) - Comparing RAG and GraphRAG for Page-Level Retrieval Question Answering on Math Textbook [6.356031718676495]
ラージ言語モデル(LLM)は、学習中の情報検索のための新しい補助具として登場した。
本稿では,知識グラフ強化型RAG手法であるRetrieval-Augmented Generation(RAG)とGraphRAGについて,ページレベルの質問応答について検討する。
論文 参考訳(メタデータ) (2025-09-20T19:06:49Z) - Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。
この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。
提案手法は2つの共通データセットに対して最先端の性能を達成した。
論文 参考訳(メタデータ) (2024-12-24T16:38:04Z) - Wikiformer: Pre-training with Structured Information of Wikipedia for
Ad-hoc Retrieval [21.262531222066208]
本稿では,ウィキペディアの構造的知識に基づいて,情報検索タスクに適した4つの事前学習目標を考案する。
既存の事前学習手法と比較して,本手法はトレーニングコーパスにおける意味的知識をよりよく捉えることができる。
生物医学・法学領域における実験結果から,本手法は垂直領域において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-12-17T09:31:47Z) - A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。
しかし、この文脈的基盤のメカニズムはいまだに不明である。
本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T17:35:42Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Challenge Closed-book Science Exam: A Meta-learning Based Question
Answering System [7.228790381070109]
本稿では,システム1が直感的なメタ分類器であり,システム2が推論モジュールであるメタQAフレームワークを提案する。
提案手法は,AI2推論チャレンジ(ARC)において評価され,メタ分類器が出現する問題に対してかなりの分類性能を示すことを示す実験結果が得られた。
論文 参考訳(メタデータ) (2020-04-26T07:43:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。