論文の概要: Enhancing classroom teaching with LLMs and RAG

• arxiv url: http://arxiv.org/abs/2411.04341v1
• Date: Thu, 07 Nov 2024 00:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:05.703861
• Title: Enhancing classroom teaching with LLMs and RAG
• Title（参考訳）: LLMとRAGによる教室教育の強化
• Authors: Elizabeth A Mullins, Adrian Portillo, Kristalys Ruiz-Rohena, Aritran Piplai,
• Abstract要約: 本研究は,データソースとして提供される教材を用いたRAGパイプラインが,K-12教育の学生にどのように役立つかを検討する。 最初の調査では、Redditを最新のサイバーセキュリティ情報のためのデータソースとして利用している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models have become a valuable source of information for our daily inquiries. However, after training, its data source quickly becomes out-of-date, making RAG a useful tool for providing even more recent or pertinent data. In this work, we investigate how RAG pipelines, with the course materials serving as a data source, might help students in K-12 education. The initial research utilizes Reddit as a data source for up-to-date cybersecurity information. Chunk size is evaluated to determine the optimal amount of context needed to generate accurate answers. After running the experiment for different chunk sizes, answer correctness was evaluated using RAGAs with average answer correctness not exceeding 50 percent for any chunk size. This suggests that Reddit is not a good source to mine for data for questions about cybersecurity threats. The methodology was successful in evaluating the data source, which has implications for its use to evaluate educational resources for effectiveness.
• Abstract（参考訳）: 大規模な言語モデルは、私たちの日々の問い合わせにとって貴重な情報源になっています。 しかし、トレーニング後、そのデータソースはすぐに時代遅れになり、RAGはより最新のデータや関連するデータを提供するのに役立つツールとなる。 そこで本研究では,データソースとして活用されているRAGパイプラインが,K-12教育の学生にどのように役立つかを検討する。 最初の調査では、Redditを最新のサイバーセキュリティ情報のためのデータソースとして利用している。 チャンクサイズを評価して、正確な答えを生成するのに必要なコンテキストの最適な量を決定する。 異なるチャンクサイズで実験を行った後,任意のチャンクサイズに対して平均回答正解率が50%を超えないRAGAを用いて回答正解性を評価した。 これは、Redditがサイバーセキュリティの脅威に関する質問のためのデータを得るための良い情報源ではないことを示唆している。 この方法論は、データソースの評価に成功し、教育資源の有効性を評価するためにその利用に影響を及ぼす。

関連論文リスト

• Leveraging Large Language Models in Code Question Answering: Baselines and Issues [0.1617522438111378]
  本稿では,Pythonのソースコードに対する質問応答のために,大規模言語モデルを用いた研究について述べる。 提案手法は,Pythonコードの問合せと解答の統一データセット上で,大規模言語モデルを微調整することを含む。 手動エラー解析の結果とともに,BLEU-4,BERTScore F1,BLEURT,Exact Matchの測定値について報告する。
  論文  参考訳（メタデータ） (2024-11-05T11:25:12Z)
• Adversarial Databases Improve Success in Retrieval-based Large Language Models [0.3045901500495719]
  Retrieval-Augmented Generation (RAG) は、モデルが明示的に訓練されていないタスクにおいてLLMの性能を改善する技術である。 Llama 3、Phi-3、Mixtral 8x7b、Zephyr$beta$、Gemma 7B Instructなど、オープンソースのLLMをゼロショットRAGパイプラインでセットアップしました。 敵対的な情報ソースとして、聖書からのテキストとランダムワードの生成したデータベースを用いて比較を行った。
  論文  参考訳（メタデータ） (2024-07-19T18:08:39Z)
• DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
  データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。 LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。 我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
  論文  参考訳（メタデータ） (2024-03-04T22:47:58Z)
• Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data [89.2410799619405]
  実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。 このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴う411の質問のデータセットで構成されている。 データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
  論文  参考訳（メタデータ） (2024-02-27T16:15:03Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning [66.20311762506702]
  データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。 本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。 ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:07:49Z)
• DCUR: Data Curriculum for Teaching via Samples with Reinforcement Learning [6.9884912034790405]
  本稿では,オンライン深層学習を用いた教員教育を行うためのフレームワーク,Data CUrriculum for Reinforcement Learning (DCUR)を提案する。 そして、オフラインのRLを実行するか、少量の自己生成データと組み合わせて教師データを使用することで学習する。
  論文  参考訳（メタデータ） (2021-09-15T15:39:46Z)
• Data Optimisation for a Deep Learning Recommender System [0.0]
  本稿では,レコメンデーションシステムにおけるユーザデータの収集に関するプライバシー保護要件について論じる。 まず、データ収集の制限がRNNベースのレコメンデーションのテスト品質を損なうかどうかを問う。 第2に、二次データソースを使用することで、最小限のデータの下で品質を向上できるかを問う。
  論文  参考訳（メタデータ） (2021-06-21T16:05:37Z)
• Unsupervised Multi-source Domain Adaptation Without Access to Source Data [58.551861130011886]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。 本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-05T10:45:12Z)
• A Principled Approach to Data Valuation for Federated Learning [73.19984041333599]
  フェデレートラーニング(FL)は、分散データソース上で機械学習(ML)モデルをトレーニングする一般的なテクニックである。 Shapley value (SV) はデータ値の概念として多くのデシラタを満たすユニークなペイオフスキームを定義する。 本稿では,FL に対応する SV の変種を提案する。
  論文  参考訳（メタデータ） (2020-09-14T04:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。