Fugu-MT 論文翻訳(概要): Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever

論文の概要: Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever

arxiv url: http://arxiv.org/abs/2406.13885v1
Date: Wed, 19 Jun 2024 23:30:01 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 17:56:22.017331
Title: Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever
Title（参考訳）: フレキシブル・デモ・レトリバー付きLCMによる数学質問の知識タグ作成システム
Authors: Hang Li, Tianlong Xu, Jiliang Tang, Qingsong Wen,
Abstract要約: 大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
参考スコア（独自算出の注目度）: 48.5585921817745
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Knowledge tagging for questions plays a crucial role in contemporary intelligent educational applications, including learning progress diagnosis, practice question recommendations, and course content organization. Traditionally, these annotations are always conducted by pedagogical experts, as the task requires not only a strong semantic understanding of both question stems and knowledge definitions but also deep insights into connecting question-solving logic with corresponding knowledge concepts. With the recent emergence of advanced text encoding algorithms, such as pre-trained language models, many researchers have developed automatic knowledge tagging systems based on calculating the semantic similarity between the knowledge and question embeddings. In this paper, we explore automating the task using Large Language Models (LLMs), in response to the inability of prior encoding-based methods to deal with the hard cases which involve strong domain knowledge and complicated concept definitions. By showing the strong performance of zero- and few-shot results over math questions knowledge tagging tasks, we demonstrate LLMs' great potential in conquering the challenges faced by prior methods. Furthermore, by proposing a reinforcement learning-based demonstration retriever, we successfully exploit the great potential of different-sized LLMs in achieving better performance results while keeping the in-context demonstration usage efficiency high.
Abstract（参考訳）: 質問に対する知識タグ付けは、学習進行診断、実践的質問推薦、コースコンテンツ組織など、現代のインテリジェントな教育アプリケーションにおいて重要な役割を担っている。伝統的に、これらのアノテーションは常に教育の専門家によって行われており、タスクは疑問の根源と知識の定義の両方について強力な意味的理解を必要とするだけでなく、問題解決論理と対応する知識概念を結びつけるための深い洞察を必要とする。近年、事前訓練された言語モデルなどの高度なテキスト符号化アルゴリズムが出現し、多くの研究者が知識と質問の埋め込みのセマンティックな類似性を計算するために、自動知識タグシステムを開発した。本稿では,強大言語モデル(LLM)を用いたタスクの自動化について検討する。数学問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示すことにより,従来の手法が直面する課題を克服する上で,LLMが持つ大きな可能性を実証する。さらに、強化学習に基づく実演検索の提案により、実演の効率を高く保ちつつ、より優れた性能を実現するために、異なる大きさのLLMの大きな可能性を利用することに成功した。

関連論文リスト

GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文参考訳（メタデータ） (2024-10-11T03:05:06Z)
Knowledge Tagging with Large Language Model based Multi-Agent System [17.53518487546791]
本稿では,従来のアルゴリズムの限界に対処するマルチエージェントシステムについて検討する。我々は,従来の手法が抱えていた課題を克服する上で,LLMベースのマルチエージェントシステムの可能性を強調した。
論文参考訳（メタデータ） (2024-09-12T21:39:01Z)
CLR-Fact: Evaluating the Complex Logical Reasoning Capability of Large Language Models over Factual Knowledge [44.59258397967782]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる印象的な機能を示している。本稿では,LLMの複雑な論理的推論能力の体系的評価について述べる。 LLMは一般世界の知識の推論に優れるが、専門分野固有の知識では重大な課題に直面している。
論文参考訳（メタデータ） (2024-07-30T05:40:32Z)
Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
論文参考訳（メタデータ） (2024-06-11T15:58:59Z)
Automate Knowledge Concept Tagging on Math Questions with LLMs [48.5585921817745]
知識概念のタグ付けは、現代の知的教育応用において重要な役割を担っている。伝統的に、これらの注釈は教育専門家の助けを借りて手作業で行われてきた。本稿では,Large Language Models (LLM) を用いたタグ付けタスクの自動化について検討する。
論文参考訳（メタデータ） (2024-03-26T00:09:38Z)
Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文参考訳（メタデータ） (2024-01-23T11:25:34Z)
KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
論文参考訳（メタデータ） (2023-12-26T04:22:56Z)
Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文参考訳（メタデータ） (2023-10-08T04:22:33Z)
Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。