論文の概要: Aligning Teacher with Student Preferences for Tailored Training Data Generation

• arxiv url: http://arxiv.org/abs/2406.19227v1
• Date: Thu, 27 Jun 2024 14:51:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 13:58:17.783034
• Title: Aligning Teacher with Student Preferences for Tailored Training Data Generation
• Title（参考訳）: 教員養成データ生成における学生選好の調整
• Authors: Yantao Liu, Zhao Zhang, Zijun Yao, Shulin Cao, Lei Hou, Juanzi Li,
• Abstract要約: StudenT PreferencEs を用いた Aligning TeacheR という ARTE を提案する。 具体的には,教師モデルから質問文と合理性を抽出し,これらの質問文と合理性に関する学生の嗜好を収集する。 最後に,教師モデルと協調する第1ステップを繰り返すことで,対象課題における生徒モデルに適した訓練例を提示する。
• 参考スコア（独自算出の注目度）: 40.85451525264779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown significant promise as copilots in various tasks. Local deployment of LLMs on edge devices is necessary when handling privacy-sensitive data or latency-sensitive tasks. The computational constraints of such devices make direct deployment of powerful large-scale LLMs impractical, necessitating the Knowledge Distillation from large-scale models to lightweight models. Lots of work has been done to elicit diversity and quality training examples from LLMs, but little attention has been paid to aligning teacher instructional content based on student preferences, akin to "responsive teaching" in pedagogy. Thus, we propose ARTE, dubbed Aligning TeacheR with StudenT PreferencEs, a framework that aligns the teacher model with student preferences to generate tailored training examples for Knowledge Distillation. Specifically, we elicit draft questions and rationales from the teacher model, then collect student preferences on these questions and rationales using students' performance with in-context learning as a proxy, and finally align the teacher model with student preferences. In the end, we repeat the first step with the aligned teacher model to elicit tailored training examples for the student model on the target task. Extensive experiments on academic benchmarks demonstrate the superiority of ARTE over existing instruction-tuning datasets distilled from powerful LLMs. Moreover, we thoroughly investigate the generalization of ARTE, including the generalization of fine-tuned student models in reasoning ability and the generalization of aligned teacher models to generate tailored training data across tasks and students. In summary, our contributions lie in proposing a novel framework for tailored training example generation, demonstrating its efficacy in experiments, and investigating the generalization of both student & aligned teacher models in ARTE.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにおいてコピロとして大きな可能性を示してきた。 プライバシに敏感なデータやレイテンシに敏感なタスクを処理するには,エッジデバイスにLLMをローカルにデプロイする必要がある。 このような装置の計算上の制約は、大規模モデルから軽量モデルへの知識蒸留を必要とせず、強力な大規模LCMの直接展開を非現実的にする。 LLMから多様性と品質のトレーニングの例を引き出すために多くの研究がなされてきたが、教育学における「レスポンシブ・インストラクター」に似た、学生の好みに基づく教師の指導内容の整合にはほとんど注意が払われていない。 そこで我々は,教師モデルと生徒の好みを整合させて,知識蒸留のための調整されたトレーニング例を生成するフレームワーク,Aligning TeacheR with StudenT PreferencEsを提案する。 具体的には,教師モデルから質問文や合理性を抽出し,これらの質問文から学生の嗜好を抽出し,教師モデルと生徒の嗜好を整合させる。 最後に,教師モデルと協調する第1ステップを繰り返すことで,対象課題における生徒モデルに適した訓練例を提示する。 学術ベンチマークの大規模な実験は、強力なLLMから抽出した既存の命令チューニングデータセットよりもARTEの方が優れていることを示した。 さらに,ARTEの一般化を徹底的に検討し,推論能力における微調整学生モデルの一般化や,タスクや学生間で調整されたトレーニングデータを生成するための整列教師モデルの一般化について検討する。 まとめると、我々の貢献は、学習例生成のための新しい枠組みを提案し、実験においてその効果を実証し、ARTEにおける学生モデルと教師モデルの両方の一般化を調査することにある。

関連論文リスト

• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Interactive DualChecker for Mitigating Hallucinations in Distilling Large Language Models [7.632217365130212]
  大規模言語モデル(LLM)は、さまざまな機械学習(ML)タスクにまたがる例外的な機能を示している。 これらのモデルは、特に不完全な知識を持つ領域において幻覚を生み出すことができる。 幻覚を緩和し,教師モデルと学生モデルの両方のパフォーマンスを向上させるために設計された,革新的なフレームワークであるDualCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-08-22T12:04:04Z)
• Self-Regulated Data-Free Knowledge Amalgamation for Text Classification [9.169836450935724]
  そこで我々は,複数の教師モデルから学習できる軽量な学生ネットワークを構築した。 そこで本研究では,各教師に適したテキストデータを生成するモデリングフレームワークSTRATANETを提案する。 本手法は,ラベルやドメインの異なる3つのベンチマークテキスト分類データセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-06-16T21:13:30Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Prototype-guided Cross-task Knowledge Distillation for Large-scale Models [103.04711721343278]
  クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。 本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-26T15:00:42Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。