論文の概要: The Promise and Limits of LLMs in Constructing Proofs and Hints for Logic Problems in Intelligent Tutoring Systems

• arxiv url: http://arxiv.org/abs/2505.04736v1
• Date: Wed, 07 May 2025 18:48:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.645015
• Title: The Promise and Limits of LLMs in Constructing Proofs and Hints for Logic Problems in Intelligent Tutoring Systems
• Title（参考訳）: 知能チュータシステムにおける論理問題に対する証明とヒントの構築におけるLCMの約束と限界
• Authors: Sutapa Dey Tithi, Arun Kumar Ramesh, Clara DiMarco, Xiaoyi Tian, Nazia Alam, Kimia Fazeli, Tiffany Barnes,
• Abstract要約: 大規模言語モデル(LLM)は動的フィードバック生成に有望な機能を提供する。 LLMは幻覚を発生させるリスクを負う。 DeepSeek-V3は、段階的な証明構築において84.4%の精度で優れた性能を達成した。
• 参考スコア（独自算出の注目度）: 4.146233417549798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Intelligent tutoring systems have demonstrated effectiveness in teaching formal propositional logic proofs, but their reliance on template-based explanations limits their ability to provide personalized student feedback. While large language models (LLMs) offer promising capabilities for dynamic feedback generation, they risk producing hallucinations or pedagogically unsound explanations. We evaluated the stepwise accuracy of LLMs in constructing multi-step symbolic logic proofs, comparing six prompting techniques across four state-of-the-art LLMs on 358 propositional logic problems. Results show that DeepSeek-V3 achieved superior performance with 84.4% accuracy on stepwise proof construction and excelled particularly in simpler rules. We further used the best-performing LLM to generate explanatory hints for 1,050 unique student problem-solving states from a logic ITS and evaluated them on 4 criteria with both an LLM grader and human expert ratings on a 20% sample. Our analysis finds that LLM-generated hints were 75% accurate and rated highly by human evaluators on consistency and clarity, but did not perform as well explaining why the hint was provided or its larger context. Our results demonstrate that LLMs may be used to augment tutoring systems with logic tutoring hints, but requires additional modifications to ensure accuracy and pedagogical appropriateness.
• Abstract（参考訳）: 知的学習システムは、形式的な命題論理の証明を指導する効果を実証してきたが、テンプレートに基づく説明への依存は、個人化された学生のフィードバックを提供する能力を制限している。 大規模言語モデル(LLM)は動的フィードバック生成に有望な能力を提供するが、幻覚や音の聞こえない説明を生み出すリスクがある。 我々は,358の命題論理問題に対して,4つの最先端LLMに対して6つのプロンプト手法を比較し,多段階の記号論理証明を構築する際のLLMの段階的精度を評価した。 その結果、DeepSeek-V3は、ステップワイドな証明構築において84.4%の精度で優れた性能を達成し、特により単純なルールにおいて優れた性能を示した。 さらに,LLMを最適性能のLLMを用いて,論理学から1,050の独特な学生問題解決状態の説明ヒントを生成し,その評価基準をLLMグレーダと人的専門家評価の2つの基準で20%のサンプルで評価した。 分析の結果,LLM生成したヒントは75%精度が高く,人間の評価者による一貫性と明瞭さは高い評価が得られたが,なぜそのヒントが提供されたのか,あるいはそのより大きな文脈が説明できなかった。 この結果から,LLMは論理的学習ヒントを用いた学習システムの拡張に有効であるが,精度と教育的適切性を確保するためには追加の修正が必要であることが示唆された。

関連論文リスト

• Can Large Language Models Match Tutoring System Adaptivity? A Benchmarking Study [0.0]
  大規模言語モデル(LLM)は動的命令補助として約束を守る。 しかし、LLMが知的チューリングシステム(ITS)の適応性を再現できるかどうかは不明である。
  論文  参考訳（メタデータ） (2025-04-07T23:57:32Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
  大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。 近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
  論文  参考訳（メタデータ） (2024-01-17T08:22:52Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。