論文の概要: Automate Knowledge Concept Tagging on Math Questions with LLMs

• arxiv url: http://arxiv.org/abs/2403.17281v1
• Date: Tue, 26 Mar 2024 00:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 17:15:36.120009
• Title: Automate Knowledge Concept Tagging on Math Questions with LLMs
• Title（参考訳）: LLMを用いた数学質問に対する自動知識タグ付け
• Authors: Hang Li, Tianlong Xu, Jiliang Tang, Qingsong Wen,
• Abstract要約: 知識概念のタグ付けは、現代の知的教育応用において重要な役割を担っている。 伝統的に、これらの注釈は教育専門家の助けを借りて手作業で行われてきた。 本稿では,Large Language Models (LLM) を用いたタグ付けタスクの自動化について検討する。
• 参考スコア（独自算出の注目度）: 48.5585921817745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge concept tagging for questions plays a crucial role in contemporary intelligent educational applications, including learning progress diagnosis, practice question recommendations, and course content organization. Traditionally, these annotations have been conducted manually with help from pedagogical experts, as the task requires not only a strong semantic understanding of both question stems and knowledge definitions but also deep insights into connecting question-solving logic with corresponding knowledge concepts. In this paper, we explore automating the tagging task using Large Language Models (LLMs), in response to the inability of prior manual methods to meet the rapidly growing demand for concept tagging in questions posed by advanced educational applications. Moreover, the zero/few-shot learning capability of LLMs makes them well-suited for application in educational scenarios, which often face challenges in collecting large-scale, expertise-annotated datasets. By conducting extensive experiments with a variety of representative LLMs, we demonstrate that LLMs are a promising tool for concept tagging in math questions. Furthermore, through case studies examining the results from different LLMs, we draw some empirical conclusions about the key factors for success in applying LLMs to the automatic concept tagging task.
• Abstract（参考訳）: 質問に対する知識概念のタグ付けは、学習進行診断、実践的質問推薦、コースコンテンツ組織など、現代のインテリジェントな教育アプリケーションにおいて重要な役割を担っている。 伝統的に、これらのアノテーションは教育専門家の助けを借りて手作業で行われてきた。このタスクは、疑問の根源と知識の定義の両方について強力な意味的理解を必要とするだけでなく、問題解決ロジックと対応する知識概念を結びつけるための深い洞察も必要である。 本稿では,先進的な教育応用によってもたらされる課題において,概念タギングの需要が急速に増大する中で,従来の手作業手法が不可能なことに対応するため,Large Language Models (LLMs) を用いたタグ付けタスクの自動化について検討する。 さらに、LLMのゼロ/フェーショット学習能力は、教育シナリオでの応用に適しており、多くの場合、大規模で専門知識を付加したデータセット収集の課題に直面している。 様々な LLM を用いて広範な実験を行うことにより,LLM が数学問題における概念タグ付けのための有望なツールであることを実証する。 さらに, 異なるLLMの結果を調べる事例研究を通じて, LLMを自動的な概念タグ付けタスクに適用する上での鍵となる要因について, 実証的な結論を導いた。

関連論文リスト

• Knowledge Tagging with Large Language Model based Multi-Agent System [17.53518487546791]
  本稿では,従来のアルゴリズムの限界に対処するマルチエージェントシステムについて検討する。 我々は,従来の手法が抱えていた課題を克服する上で,LLMベースのマルチエージェントシステムの可能性を強調した。
  論文  参考訳（メタデータ） (2024-09-12T21:39:01Z)
• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• Reinforcement Learning Problem Solving with Large Language Models [0.0]
  大規模言語モデル (LLM) には膨大な量の世界知識があり、自然言語処理 (NLP) タスクの性能向上のために様々な分野に応用できるようになっている。 これはまた、人間とAIシステム間の会話に基づく対話による、意図した問題を解決するための、よりアクセスしやすいパラダイムを促進する。 研究科学者」と「レガリー・マター・インテーク」の2つの詳細なケーススタディを通して、我々のアプローチの実践性を示す。
  論文  参考訳（メタデータ） (2024-04-29T12:16:08Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)
• Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond [48.70557995528463]
  このガイドは、研究者や実践者が大規模言語モデルを扱うための貴重な洞察とベストプラクティスを提供することを目的としている。 実世界のシナリオにおける LLM の実用的応用と限界を説明するために, 様々なユースケースと非利用事例を提示する。
  論文  参考訳（メタデータ） (2023-04-26T17:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。