論文の概要: When Babies Teach Babies: Can student knowledge sharing outperform Teacher-Guided Distillation on small datasets?

• arxiv url: http://arxiv.org/abs/2411.16487v1
• Date: Mon, 25 Nov 2024 15:25:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:24:11.053195
• Title: When Babies Teach Babies: Can student knowledge sharing outperform Teacher-Guided Distillation on small datasets?
• Title（参考訳）: Babies Teach Babies: 学生の知識の共有は、小さなデータセット上での教師指導蒸留よりも優れているか?
• Authors: Srikrishna Iyer,
• Abstract要約: 我々は,データ効率のよい言語モデル事前学習の限界を推し進めることを目的として,BabyLMチャレンジに提案する。 重み付き相互学習を二段階最適化問題として定式化することにより、生徒の平等な待遇の限界に対処する。 評価の結果、教師なしの手法は教師が指導する手法と一致したり、超えたりできることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present our submission to the BabyLM challenge, aiming to push the boundaries of data-efficient language model pretraining. Our method builds upon deep mutual learning, introducing a student model search for diverse initialization. We address the limitation of treating students equally by formulating weighted mutual learning as a bi-level optimization problem. The inner loop learns compact students through online distillation, while the outer loop optimizes weights for better knowledge distillation from diverse students. This dynamic weighting strategy eliminates the need for a teacher model, reducing computational requirements. Our evaluations show that teacher-less methods can match or surpass teacher-supervised approaches.
• Abstract（参考訳）: 我々は,データ効率のよい言語モデル事前学習の限界を推し進めることを目的として,BabyLMチャレンジに提案する。 本手法は,多様な初期化のための学生モデル検索を導入し,相互学習の深層化を図っている。 重み付き相互学習を二段階最適化問題として定式化することにより、生徒の平等な待遇の限界に対処する。 内部ループはオンライン蒸留を通してコンパクトな学生を学習し、外側ループは様々な学生のより良い知識蒸留のために重量を最適化する。 この動的重み付け戦略は、教師モデルの必要性を排除し、計算要求を減らす。 評価の結果、教師なしの手法は教師が指導する手法と一致したり、超えたりできることがわかった。

関連論文リスト

• Toward In-Context Teaching: Adapting Examples to Students' Misconceptions [54.82965010592045]
  本稿ではAdapTと呼ばれる一連のモデルと評価手法を紹介する。 AToMは、学生の過去の信念を共同で推論し、将来の信念の正しさを最適化する適応教育の新しい確率論的モデルである。 本研究は,適応型学習課題の難しさと,それを解決するための学習適応モデルの可能性を両立させるものである。
  論文  参考訳（メタデータ） (2024-05-07T17:05:27Z)
• YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
  本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。 モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。 実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
  論文  参考訳（メタデータ） (2024-01-28T14:32:15Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Teaching What You Should Teach: A Data-Based Distillation Method [20.595460553747163]
  知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。 本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。 具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2022-12-11T06:22:14Z)
• Iterative Teacher-Aware Learning [136.05341445369265]
  人間の教育において、教師と学生はコミュニケーション効率を最大化するために適応的に交流することができる。 本稿では,教師の協調意図を可能性関数に組み込むことができる,勾配最適化に基づく教師認識学習者を提案する。
  論文  参考訳（メタデータ） (2021-10-01T00:27:47Z)
• RLTutor: Reinforcement Learning Based Adaptive Tutoring System by Modeling Virtual Student with Fewer Interactions [10.34673089426247]
  本稿では,学生の仮想モデルを構築し,指導戦略を最適化する枠組みを提案する。 この結果は,eラーニングシステムにおける理論的指導最適化と実践的応用のバッファとして機能する。
  論文  参考訳（メタデータ） (2021-07-31T15:42:03Z)
• Learning by Teaching, with Application to Neural Architecture Search [10.426533624387305]
  学習による学習(LBT)と呼ばれる新しいMLフレームワークを提案する。 lbtでは、教師モデルが生徒モデルにうまく学ぶように教えることで自己改善する。 バリデーションデータセットで生徒がどのように振る舞うかに基づいて、教師はモデルを再学習し、生徒が優れたバリデーション性能に達するまで再指導する。
  論文  参考訳（メタデータ） (2021-03-11T23:50:38Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Teaching to Learn: Sequential Teaching of Agents with Inner States [20.556373950863247]
  学習者の内的状態が授業の相互作用によって変化するようなマルチエージェントの定式化を導入する。 このような学習者を指導するために,学習者の今後のパフォーマンスを考慮に入れた最適制御手法を提案する。
  論文  参考訳（メタデータ） (2020-09-14T07:03:15Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。