論文の概要: AlgoRAG: Retrieval-Augmented Generation for Theoretical Computer Science Education -- A Comprehensive Evaluation Framework for Algorithm Analysis and Complexity Theory
- arxiv url: http://arxiv.org/abs/2609.14572v1
- Date: Sun, 13 Sep 2026 14:58:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.857021
- Title: AlgoRAG: Retrieval-Augmented Generation for Theoretical Computer Science Education -- A Comprehensive Evaluation Framework for Algorithm Analysis and Complexity Theory
- Title(参考訳): AlgoRAG:Retrieval-Augmented Generation for Theory Computer Science Education -- アルゴリズム分析と複雑度理論のための総合的評価フレームワーク
- Abstract要約: 本稿では,検索・拡張生成(RAG)システムであるAlgoRAGを紹介する。
RAGは、大きな言語モデル(LLM)と、キュレートされたドメイン固有の知識ベースを結合する。
AlgoRAGは平均応答時間38.0秒で100%の成功率を達成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Teaching abstract theoretical computer science (TCS) concepts such as algorithm analysis and complexity theory is challenging because students must handle formal proofs and asymptotic reasoning that conventional resources rarely explain in an adaptive, on-demand way. We present AlgoRAG, a specialized Retrieval-Augmented Generation (RAG) system that couples a large language model (LLM) with a curated, domain-specific knowledge base to address these challenges. The knowledge base integrates authoritative textbooks, 847 lecture slides, 312 practice problems with solutions, 156 worked proof templates, and 89 complexity worksheets. AlgoRAG incorporates domain-specific optimizations including mathematical entity recognition, notation-aware retrieval, and pedagogical re-ranking. We evaluate AlgoRAG on 179 curated exam-style questions spanning asymptotic analysis, recurrence relations, dynamic programming, graph algorithms, NP-completeness, sorting, and divide-and-conquer. The system achieves a 100% success rate with a mean response time of 38.0 seconds. While BLEU-4 scores are zero -- a known limitation of n-gram matching on mathematical proofs where equivalent reasoning may use entirely different notation -- AlgoRAG attains ROUGE-1 F1 of 0.0963, ROUGE-L F1 of 0.0683, and a pedagogical quality score of 0.7620, indicating that responses are well-structured and didactically sound even when surface wording diverges from reference answers. Performance is especially strong on NP-completeness (ROUGE-1 F1 = 0.1285, pedagogical quality = 0.7643) and graph algorithms (ROUGE-1 F1 = 0.1023, pedagogical quality = 0.8086). These results support the conclusion that RAG is an effective architecture for personalized theoretical-CS instruction, providing correct, context-rich explanations even for highly abstract topics.
- Abstract(参考訳): アルゴリズム分析や複雑性理論のような抽象理論計算機科学(TCS)の概念を教えることは、学生が形式的証明や漸近的推論を扱わなければならないため、従来のリソースが適応的でオンデマンドな方法ではほとんど説明できないため、難しい。
本稿では,大規模言語モデル (LLM) と,これらの課題に対処するドメイン固有知識ベースを結合した特殊検索型RAG(Retrieval-Augmented Generation)システムであるAlgoRAGを提案する。
知識ベースには権威のある教科書、847の講義スライド、312のソリューションによる実践問題、156の作業実証テンプレート、89の複雑さのワークシートが組み込まれている。
AlgoRAGには、数学的エンティティ認識、表記認識検索、教育的再ランク付けなど、ドメイン固有の最適化が含まれている。
我々は, 症状分析, 再発関係, 動的プログラミング, グラフアルゴリズム, NP完全性, ソート, 分割・解答にまたがる179項目の試験式質問に対するAlgoRAGの評価を行った。
このシステムは平均応答時間38.0秒で100%の成功率を達成する。
BLEU-4スコアはゼロである -- 等価な推論が全く異なる表記法を使用する数学的証明におけるn-gramマッチングの既知の制限 -- AlgoRAGはROUGE-1 F1が0.0963、ROUGE-L F1が0.0683、教育品質スコアが0.7620に達している。
特にNP完全性(ROUGE-1 F1 = 0.1285, pedagogical quality = 0.7643)とグラフアルゴリズム(ROUGE-1 F1 = 0.1023, pedagogical quality = 0.8086)が強い。
これらの結果は、RAGがパーソナライズされた理論CS命令のための効果的なアーキテクチャであり、高度に抽象的なトピックであっても正しい文脈に富んだ説明を提供するという結論を支持している。
関連論文リスト
- GEAKG: Generative Executable Algorithm Knowledge Graphs [0.9214658764451348]
textitGenerative Executable Algorithm Knowledge Graphs (GEAKG)を紹介する。
GEAKGは、(トポロジーと演算子は、大規模言語モデルによって合成される)、(全てのノードは実行可能コードである)、(学習されたパターンは、ドメイン間でゼロショットを一般化する)、(実行可能コードである)。
2つのケーススタディは、このフレームワーク仮説の具体的な証拠を提供する。
論文 参考訳(メタデータ) (2026-03-30T00:42:48Z) - Can LLMs Prove Robotic Path Planning Optimality? A Benchmark for Research-Level Algorithm Verification [5.637461397736495]
本稿では,ロボット経路計画アルゴリズムの近似比証明について,LLM(Large Language Models)を評価するための最初のベンチマークを紹介する。
我々の評価では、最強のモデルでさえ、外部のドメイン知識なしで完全に有効な証明を作成するのに苦労していることが明らかになっている。
論文 参考訳(メタデータ) (2026-03-19T20:55:46Z) - AlgBench: To What Extent Do Large Reasoning Models Understand Algorithms? [21.836954662380094]
本稿では,アルゴリズム中心のパラダイムの下でLarge Reasoning Models(LRMs)を評価する専門家によるベンチマークであるAlgBenchを提案する。
AlgBenchは、ACMアルゴリズムの専門家によって構築された27のアルゴリズムにまたがる3000以上の元の問題で構成されている。
先進的なLRM(Gemini-3-Pro、DeepSeek-v3.2- Speciale、GPT-o3)に関する実証的な評価は、かなりの性能を示している。
論文 参考訳(メタデータ) (2026-01-08T14:54:44Z) - Towards a General Framework for Predicting and Explaining the Hardness of Graph-based Combinatorial Optimization Problems using Machine Learning and Association Rule Mining [0.0]
GCO-HPIFは、グラフ上で表現できる最適化問題の計算困難性を予測し、説明するための機械学習ベースのフレームワークである。
これは、COLLAB、IMDB、TWITTERグラフデータセットからコンパイルされた3287の最大傾き問題のデータセットに適用された。
このフレームワークは、重み付きF1スコアが0.9921、マイノリティークラスF1スコアが0.878、ROC-AUCスコアが0.9083、インスタンスの硬さを予測するのに優れた性能を示した。
論文 参考訳(メタデータ) (2025-12-24T03:43:54Z) - OMEGA: Can LLMs Reason Outside the Box in Math? Evaluating Exploratory, Compositional, and Transformative Generalization [88.76091817642963]
最近の大規模言語モデル (LLMs) は、DeepSeek-R1-のような長い鎖の推論を持ち、オリンピアード級数学において印象的な成果を上げている。
本稿では,3つの分布外一般化の軸を評価するために設計された3つの一般化 Axes-a ベンチマークを用いた OMEGA-Out-of-distriion Math Problems Evaluation を提案する。
論文 参考訳(メタデータ) (2025-06-23T17:51:40Z) - Quantifying artificial intelligence through algorithmic generalization [19.999962047304596]
AIシステムは、アルゴリズムの推論を必要とするテストに不足している。
AIシステムにおけるアルゴリズム推論を定量化する理論的枠組みは存在しない。
本稿では,アルゴリズムの一般化を定量化するために,計算複雑性理論の枠組みを採用する。
論文 参考訳(メタデータ) (2024-11-08T20:08:18Z) - Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
カリキュラムベースの論理認識型チューニングフレームワークであるLACTを提案する。
具体的には、任意の一階論理クエリをバイナリツリー分解によって拡張する。
広く使われているデータセットに対する実験では、LATは高度な手法よりも大幅に改善(平均+5.5% MRRスコア)し、新しい最先端技術を実現している。
論文 参考訳(メタデータ) (2024-05-02T18:12:08Z) - On the Generalization Capability of Temporal Graph Learning Algorithms:
Theoretical Insights and a Simpler Method [59.52204415829695]
テンポラルグラフ学習(TGL)は、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。
本稿では,異なるTGLアルゴリズムの一般化能力について検討する。
一般化誤差が小さく、全体的な性能が向上し、モデルの複雑さが低下する単純化されたTGLネットワークを提案する。
論文 参考訳(メタデータ) (2024-02-26T08:22:22Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-01-07T08:00:02Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。