論文の概要: A SMART Mnemonic Sounds like "Glue Tonic": Mixing LLMs with Student Feedback to Make Mnemonic Learning Stick

• arxiv url: http://arxiv.org/abs/2406.15352v2
• Date: Fri, 04 Oct 2024 15:15:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 18:20:08.545416
• Title: A SMART Mnemonic Sounds like "Glue Tonic": Mixing LLMs with Student Feedback to Make Mnemonic Learning Stick
• Title（参考訳）: Glue TonicのようなSMART Mnemonic Sounds:LLMと学生のフィードバックを混合してMnemonic Learning Stickを作る
• Authors: Nishant Balepur, Matthew Shu, Alexander Hoyle, Alison Robey, Shi Feng, Seraphina Goldfarb-Tarrant, Jordan Boyd-Graber,
• Abstract要約: SMARTは、実際の学生が新しい用語を学習する際のフィードバックに基づいて訓練された、モニーモニックなジェネレータである。 我々は、45人の学生から2684人の選好を2つのタイプに分けて集める:表現(評価から推測)と観察(学習から推定)
• 参考スコア（独自算出の注目度）: 48.89184228091846
• License:
• Abstract: Keyword mnemonics are memorable explanations that link new terms to simpler keywords. Prior work generates mnemonics for students, but they do not train models using mnemonics students prefer and aid learning. We build SMART, a mnemonic generator trained on feedback from real students learning new terms. To train SMART, we first fine-tune LLaMA-2 on a curated set of user-written mnemonics. We then use LLM alignment to enhance SMART: we deploy mnemonics generated by SMART in a flashcard app to find preferences on mnemonics students favor. We gather 2684 preferences from 45 students across two types: expressed (inferred from ratings) and observed (inferred from student learning), yielding three key findings. First, expressed and observed preferences disagree; what students think is helpful does not always capture what is truly helpful. Second, Bayesian models can synthesize complementary data from multiple preference types into a single effectiveness signal. SMART is tuned via Direct Preference Optimization on this signal, which resolves ties and missing labels in the typical method of pairwise comparisons, augmenting data for LLM output quality gains. Third, mnemonic experts assess SMART as matching GPT-4 at much lower deployment costs, showing the utility of capturing diverse student feedback to align LLMs in education.
• Abstract（参考訳）: キーワード・ムネモニクス(英: Keyword mnemonics)は、新しい用語を単純なキーワードに結びつける記憶に残る説明である。 先行研究は、学生にモニーモニックを発生させるが、モニーモニックの学生が学習を好み、支援するモデルは訓練しない。 SMARTは、実際の学生が新しい用語を学習する際のフィードバックに基づいて訓練された、モニーモニックなジェネレータである。 SMARTをトレーニングするために、私たちはまず、ユーザ記述のメニーモニックのキュレートセット上でLLaMA-2を微調整する。 LLMアライメントを用いてSMARTを強化し、SMARTが生成したモニーモニックをフラッシュカードアプリに展開し、モニーモニックの学生が好むものを探す。 本研究は,45名の学生から2684名の選好を2つのタイプに分けて収集し,評価(評価)と観察(学生の学習)を行い,3つの重要な知見を得た。 まず、表現され、観察される好みは一致しない。学生が役に立つと考えるものは、必ずしも本当に役に立つものを取得するとは限らない。 第二に、ベイジアンモデルは複数の選好型の相補的なデータを単一の効果信号に合成することができる。 SMARTは、この信号に対して直接優先度最適化(Direct Preference Optimization)によって調整され、LLM出力品質向上のためのデータを増大させる、ペア比較の典型的な方法において、関連性や欠落ラベルを解消する。 第3に、SMARTはGPT-4をはるかに低いデプロイメントコストで適合させ、多様な学生のフィードバックを取り込み、教育におけるLLMを整合させる効果を示す。

関連論文リスト

• On Unsupervised Prompt Learning for Classification with Black-box Language Models [71.60563181678323]
  大規模言語モデル(LLM)は、テキスト形式学習問題において顕著な成功を収めた。 LLMは、熟練した人間のアノテータよりも品質の高いデータセットをラベル付けすることができる。 本稿では,ブラックボックス LLM を用いた分類のための教師なしのプロンプト学習を提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• MEOW: MEMOry Supervised LLM Unlearning Via Inverted Facts [29.593170782882563]
  大きな言語モデル(LLM)は機密情報を記憶し、潜在的な誤用に対する懸念を引き起こす。 以前のプラクティスでは、実用性、効率性、堅牢性という3つの大きな課題に直面しています。 勾配降下に基づくアンラーニング手法であるMEOWを提案する。
  論文  参考訳（メタデータ） (2024-09-18T09:55:48Z)
• Rethinking Prompting Strategies for Multi-Label Recognition with Partial Annotations [7.7149881834358345]
  マルチラベル認識(MLR)における肯定的・否定的学習の効果について検討する。 我々はPositiveCoOpとNegativeCoOpを導入し、1つのプロンプトだけがVLMガイダンスで学習され、もう1つは埋め込みベクトルに置き換えられる。 我々は、負のプロンプトがMLR性能を低下させ、正のプロンプトのみを学習し、学習された負の埋め込みと組み合わせることで、二重のプロンプト学習アプローチより優れていることを観察した。
  論文  参考訳（メタデータ） (2024-09-12T20:02:51Z)
• Teaching-Assistant-in-the-Loop: Improving Knowledge Distillation from Imperfect Teacher Models in Low-Budget Scenarios [3.818273633647809]
  3種類の信号型を利用した3成分フレームワークを提案する。 最初の信号は学生の自己整合性(学生の複数の出力の整合性)であり、学生の自信の代用となる。 提案した2段階フレームワークは,データセット間の信号を持たない微調整と比較して,20.79%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2024-06-08T02:17:43Z)
• Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• Can Small Language Models be Good Reasoners for Sequential Recommendation? [34.098264212413305]
  SLIM (Step-by-step knowLedge dIstillation fraMework for recommendation) より大規模な教師モデルのためのユーザ行動系列に基づくCoTプロンプトを導入する。 教師モデルによって生成される理論的根拠をラベルとして利用し、下流のより小さな学生モデルを蒸留する。
  論文  参考訳（メタデータ） (2024-03-07T06:49:37Z)
• Preference-grounded Token-level Guidance for Language Model Fine-tuning [105.88789610320426]
  好みのある言語モデルを調整することは、自然言語生成において重要な問題である。 LMトレーニングでは、教師付きデータの量に基づいて、学習指導を利用する2つの「ミニマリスト*学習目標」を示す。 実験において,本手法は2つの異なるLMタスクに対して競合的に動作する。
  論文  参考訳（メタデータ） (2023-06-01T07:00:07Z)
• SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
  我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。 まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。 次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-11-20T08:26:10Z)
• Mnemonics Training: Multi-Class Incremental Learning without Forgetting [131.1065577648532]
  マルチクラスインクリメンタルラーニング(MCIL)は、従来の概念に基づいてトレーニングされたモデルを漸進的に更新することで、新しい概念を学習することを目的としている。 本稿では,前例をパラメータ化し,エンドツーエンドで最適化できるようにする,新しい,かつ自動的なフレームワークを提案する。 CIFAR-100, ImageNet-Subset, ImageNet の3つのMCILベンチマークで大規模な実験を行い, メニーモニック・エスペクタの使用が最先端をはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2020-02-24T12:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。