論文の概要: Choosy Babies Need One Coach: Inducing Mode-Seeking Behavior in BabyLlama with Reverse KL Divergence

• arxiv url: http://arxiv.org/abs/2410.22081v1
• Date: Tue, 29 Oct 2024 14:36:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:40:57.537343
• Title: Choosy Babies Need One Coach: Inducing Mode-Seeking Behavior in BabyLlama with Reverse KL Divergence
• Title（参考訳）: Choosy Babiesに1人のコーチが必要: 逆KLの多様性を持つBabyLlamaにおけるモード探索行動の誘発
• Authors: Shaozhen Shi, Yevgen Matusevych, Malvina Nissim,
• Abstract要約: バックボーンとしてBabyLLaMaモデルを用いた教師用蒸留装置を用いる。 目的関数を、計算学習者においてモード探索動作を引き起こすことが知られている逆のクルバック・リーブラー分岐に置き換える。 実験の結果,シングルティーチングモデルの方が,ほとんどのタスクにおいて,複数ティーチングモデルよりも優れ,あるいは一致していることがわかった。
• 参考スコア（独自算出の注目度）: 13.905746880689108
• License:
• Abstract: This study presents our submission to the Strict-Small Track of the 2nd BabyLM Challenge. We use a teacher-student distillation setup with the BabyLLaMa model (Timiryasov and Tastet, 2023) as a backbone. To make the student's learning process more focused, we replace the objective function with a reverse Kullback-Leibler divergence, known to cause mode-seeking (rather than mode-averaging) behaviour in computational learners. We further experiment with having a single teacher (instead of an ensemble of two teachers) and implement additional optimization strategies to improve the distillation process. Our experiments show that under reverse KL divergence, a single-teacher model often outperforms or matches multiple-teacher models across most tasks. Additionally, incorporating advanced optimization techniques further enhances model performance, demonstrating the effectiveness and robustness of our proposed approach. These findings support our idea that "choosy babies need one coach".
• Abstract（参考訳）: 本稿では,第2回BabyLMチャレンジのStrict-Small Trackについて紹介する。 我々は,BabyLLaMaモデル(Timiryasov and Tastet, 2023)をバックボーンとして使用した。 学習者の学習プロセスをより集中させるため、計算学習者においてモード探索(モデラー)ではなくモード探索(モデラー)行動を引き起こすことが知られている逆のクルバック・リブラー分岐(Kulback-Leibler divergence)に置き換える。 さらに,1人の教師(2人の教師のアンサンブルの代わりに)がいて,蒸留プロセスを改善するためのさらなる最適化戦略を実践する実験を行った。 実験の結果, 逆KL分散下では, 単教師モデルの方が, 多くの場合, 複数教師モデルよりも優れ, 一致していることがわかった。 さらに、高度な最適化手法を取り入れることで、モデルの性能をさらに向上させ、提案手法の有効性と堅牢性を示す。 これらの知見は,「幸せな赤ちゃんには1人のコーチが必要だ」という私たちの考えを支持します。

関連論文リスト

• Two-stage Learning-to-Defer for Multi-Task Learning [0.0]
  分類タスクと回帰タスクの両方を包含するマルチタスク学習のためのLearning-to-Deferアプローチを提案する。 我々の2段階のアプローチでは、事前訓練された共同回帰モデルと1つ以上の外部の専門家のうち、最も正確なエージェントに決定を下すリジェクターを使用します。
  論文  参考訳（メタデータ） (2024-10-21T07:44:57Z)
• Towards Flexible and Efficient Diffusion Low Light Enhancer [30.515393168075448]
  拡散に基づく低照度画像強調(LLIE)は、低照度画像の可視性向上に大きく成功している。 LLIE用に特別に設計されたステップ蒸留フレームワークである textbfDistilled textbfTrajectory (textbfReDDiT) を用いた textbfReflectance-aware textbfDiffusion を提案する。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Coaching a Teachable Student [10.81020059614133]
  本稿では,官能教師の指導から学生エージェントに指導する知識蒸留フレームワークを提案する。 鍵となる洞察は、入力機能を教師の特権的なバードアイビュー(BEV)空間に合わせることを学ぶ学生を設計することである。 難解な感覚運動学習課題を足場として,様々な補助的指導を施した指導機構を用いて,学生モデルを最適化する。
  論文  参考訳（メタデータ） (2023-06-16T17:59:38Z)
• Self-Supervised Monocular Depth Estimation with Self-Reference Distillation and Disparity Offset Refinement [15.012694052674899]
  自己教師付き単分子深度推定を改善するための2つの新しいアイデアを提案する。 我々は,教師が訓練の時期に合わせて更新したパラメータ最適化モデルを用いて,さらなる指導を行う。 我々は,高次特徴量と低次特徴量とのコンテキスト整合性を利用して,マルチスケールの相違オフセットを得る。
  論文  参考訳（メタデータ） (2023-02-20T06:28:52Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need in MOOC Forums [58.221459787471254]
  大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。 多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。 MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。 本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
  論文  参考訳（メタデータ） (2021-04-26T15:12:13Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Feature Distillation With Guided Adversarial Contrastive Learning [41.28710294669751]
  本研究は,教師から生徒へ対人ロバスト性を伝えるためのGACD ( Guided Adversarial Contrastive Distillation) を提案する。 アンカーとして訓練された教師モデルでは,教師に類似した特徴を抽出することが期待されている。 GACDでは、生徒は頑丈な特徴を抽出することを学ぶだけでなく、教師からの構造的知識も取得する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:17Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)
• Dual Policy Distillation [58.43610940026261]
  教員政策を学生政策に転換する政策蒸留は、深層強化学習の課題において大きな成功を収めた。 本研究では,2人の学習者が同じ環境下で活動し,環境の異なる視点を探索する,学生学生による二重政策蒸留(DPD)を導入する。 この二重学習フレームワークを開発する上で重要な課題は、同時代の学習に基づく強化学習アルゴリズムにおいて、ピア学習者から有益な知識を特定することである。
  論文  参考訳（メタデータ） (2020-06-07T06:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。