論文の概要: EduMod-LLM: A Modular Approach for Designing Flexible and Transparent Educational Assistants
- arxiv url: http://arxiv.org/abs/2511.21742v1
- Date: Fri, 21 Nov 2025 23:05:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-01 19:47:55.196641
- Title: EduMod-LLM: A Modular Approach for Designing Flexible and Transparent Educational Assistants
- Title(参考訳): EduMod-LLM:フレキシブルで透明な教育アシスタント設計のためのモジュール的アプローチ
- Authors: Meenakshi Mittal, Rishi Khare, Mihran Miroyan, Chancharik Mitra, Narges Norouzi,
- Abstract要約: 本稿では,Large Language Model (LLM) を用いた質問応答システムの総合評価を行う。
我々のフレームワークは、各コンポーネントを分離し、評価することで、きめ細かい分析を可能にします。
このモジュラーアプローチは、特定の障害モードとパフォーマンスパターンを明らかにし、解釈可能で効果的な教育用QAシステムの開発をサポートする。
- 参考スコア(独自算出の注目度): 7.295547133368925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the growing use of Large Language Model (LLM)-based Question-Answering (QA) systems in education, it is critical to evaluate their performance across individual pipeline components. In this work, we introduce {\model}, a modular function-calling LLM pipeline, and present a comprehensive evaluation along three key axes: function calling strategies, retrieval methods, and generative language models. Our framework enables fine-grained analysis by isolating and assessing each component. We benchmark function-calling performance across LLMs, compare our novel structure-aware retrieval method to vector-based and LLM-scoring baselines, and evaluate various LLMs for response synthesis. This modular approach reveals specific failure modes and performance patterns, supporting the development of interpretable and effective educational QA systems. Our findings demonstrate the value of modular function calling in improving system transparency and pedagogical alignment. Website and Supplementary Material: https://chancharikmitra.github.io/EduMod-LLM-website/
- Abstract(参考訳): 教育におけるLarge Language Model (LLM)ベースのQAシステムの利用の増加に伴い、個々のパイプラインコンポーネント間での性能を評価することが重要である。
本稿では,モジュール型関数呼び出しLLMパイプラインである {\model}を紹介し,関数呼び出し戦略,検索手法,生成言語モデルという3つの重要な軸に沿って包括的な評価を行う。
我々のフレームワークは、各コンポーネントを分離し、評価することで、きめ細かい分析を可能にします。
我々は,LLM間の関数呼び出し性能のベンチマークを行い,新しい構造認識検索法とベクトルベースおよびLCMスコーシングベースラインを比較し,応答合成のための様々なLCMの評価を行った。
このモジュラーアプローチは、特定の障害モードとパフォーマンスパターンを明らかにし、解釈可能で効果的な教育用QAシステムの開発をサポートする。
システム透過性と教育的整合性を改善する上で,モジュール関数呼び出しの価値が示された。
website and Supplementary Material: https://chancharikmitra.github.io/EduMod-LLM-website/
関連論文リスト
- What Matters in LLM-Based Feature Extractor for Recommender? A Systematic Analysis of Prompts, Models, and Adaptation [14.788780469735242]
LLM-as-feature-extractorパイプラインを4つのモジュールに分解するモジュールフレームワークであるRecXploreを提案する。
新しいテクニックを提案する代わりに、RecXploreは確立したメソッドを再検討し、整理し、各モジュールを分離して体系的な探索を可能にする。
実験の結果、既存の技術から得られる最良の設計を組み合わせるだけで、NDCG@5が18.7%、HR@5が12.7%向上することがわかった。
論文 参考訳(メタデータ) (2025-09-18T14:08:45Z) - MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。
MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。
完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
論文 参考訳(メタデータ) (2025-05-12T17:35:43Z) - Meeseeks: A Feedback-Driven, Iterative Self-Correction Benchmark evaluating LLMs' Instruction Following Capability [21.96694731466089]
フィードバック機構を組み込んだ完全に自動化された命令追従ベンチマークであるMeeseeksを紹介した。
Meeseeksは、モデル応答における誤ったコンポーネントを特定し、対応するフィードバックを正確に提供することで、モデルを自己補正に向けて反復的に導く。
我々は、マクロレベルとインスタンスレベルの両方から包括的な分析を行い、現在の最先端モデルでよく見られる多くの共通問題を明らかにした。
論文 参考訳(メタデータ) (2025-04-30T13:28:19Z) - Modular Machine Learning: An Indispensable Path towards New-Generation Large Language Models [33.822930522694406]
我々は,次世代大規模言語モデル(LLM)に不可欠なアプローチとして,有望な学習パラダイム,すなわちモジュール機械学習(MML)を概説する。
我々は,LLMの複雑な構造を,モジュール表現,モジュールモデル,モジュール推論の3つの相互依存成分に分解する,LLMのための統一MMLフレームワークを提案する。
最終的に、MLとLLMの統合は、統計的(深層)学習と形式的(論理的)推論のギャップを埋める可能性があると信じています。
論文 参考訳(メタデータ) (2025-04-28T17:42:02Z) - Empowering Private Tutoring by Chaining Large Language Models [87.76985829144834]
本研究は,最先端の大規模言語モデル(LLM)を活用した,本格的な知的チューリングシステムの開発を探求する。
このシステムは、相互に接続された3つのコアプロセス(相互作用、反射、反応)に分けられる。
各プロセスは LLM ベースのツールと動的に更新されたメモリモジュールによって実装される。
論文 参考訳(メタデータ) (2023-09-15T02:42:03Z) - mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality [95.76661165594884]
mPLUG-Owlは、大規模言語モデル(LLM)にマルチモーダル能力を持たせる訓練パラダイムである。
トレーニングパラダイムは、LLMの助けを借りて視覚知識を学ぶ、画像とテキストの整列のための2段階の手法を含む。
実験の結果,本モデルは既存のマルチモーダルモデルよりも優れていた。
論文 参考訳(メタデータ) (2023-04-27T13:27:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。