論文の概要: TeacherLM: Teaching to Fish Rather Than Giving the Fish, Language Modeling Likewise

• arxiv url: http://arxiv.org/abs/2310.19019v2
• Date: Tue, 31 Oct 2023 06:49:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 10:11:51.920521
• Title: TeacherLM: Teaching to Fish Rather Than Giving the Fish, Language Modeling Likewise
• Title（参考訳）: TeacherLM: 魚を贈るよりも魚を教えること、言語モデリングも同じように
• Authors: Nan He, Hanyu Lai, Chenyang Zhao, Zirui Cheng, Junting Pan, Ruoyu Qin, Ruofan Lu, Rui Lu, Yunchen Zhang, Gangming Zhao, Zhaohui Hou, Zhiyuan Huang, Shaoqing Lu, Ding Liang, Mingjie Zhan
• Abstract要約: 我々は,ほとんどのNLPサンプルに対して,関連する基本,思考の連鎖,一般的な誤りを注釈できるTeachLM-7.1Bを提案する。 このモデルはMMLUで52.3のゼロショットスコアを獲得し、100B以上のパラメータを持つほとんどのモデルを上回った。 TeacherLMシリーズのモデルと拡張データセットをオープンソースとしてリリースします。
• 参考スコア（独自算出の注目度）: 28.475836712813102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) exhibit impressive reasoning and data augmentation capabilities in various NLP tasks. However, what about small models? In this work, we propose TeacherLM-7.1B, capable of annotating relevant fundamentals, chain of thought, and common mistakes for most NLP samples, which makes annotation more than just an answer, thus allowing other models to learn "why" instead of just "what". The TeacherLM-7.1B model achieved a zero-shot score of 52.3 on MMLU, surpassing most models with over 100B parameters. Even more remarkable is its data augmentation ability. Based on TeacherLM-7.1B, we augmented 58 NLP datasets and taught various student models with different parameters from OPT and BLOOM series in a multi-task setting. The experimental results indicate that the data augmentation provided by TeacherLM has brought significant benefits. We will release the TeacherLM series of models and augmented datasets as open-source.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なNLPタスクにおいて印象的な推論とデータ拡張能力を示す。 しかし、小さなモデルはどうだろう? そこで本研究では,ほとんどのnlpサンプルに対して,関連する基本,思考の連鎖,よくある誤りを注釈できる教師lm-7.1bを提案する。アノテーションは単なる回答以上のものとなり,他のモデルが単に「何」ではなく「理由」を学ぶことができる。 TeacherLM-7.1BモデルはMMLUで0ショットスコア52.3を獲得し、100B以上のパラメータを持つほとんどのモデルを上回った。 さらに注目すべきは、データ拡張機能だ。 TeacherLM-7.1Bに基づいて58個のNLPデータセットを拡張し,OPTおよびBLOOMシリーズと異なるパラメータの学生モデルをマルチタスク環境で教えた。 実験の結果, 教師が提供したデータ拡張は有意なメリットをもたらした。 TeacherLMシリーズのモデルと拡張データセットをオープンソースとしてリリースします。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• AgentInstruct: Toward Generative Teaching with Agentic Flows [12.192372792525726]
  我々は、ポストトレーニングに合成データを使うこと、特に、他のモデルに新しいスキルや振る舞いを教えるために、強力なモデルでデータを作成することに重点を置いている。 本稿では,多種多様な高品質な合成データを自動生成するエージェントフレームワークであるAgentInstructを紹介する。 テキスト編集,創造的執筆,ツール使用,コーディング,理解の理解など,さまざまなスキルを学習するための,2500万対のポストトレーニングデータセットを作成することで,AgentInstructの有用性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T21:01:12Z)
• LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
  CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。 低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
  論文  参考訳（メタデータ） (2024-01-04T18:53:01Z)
• Can Instruction Fine-Tuned Language Models Identify Social Bias through Prompting? [0.0]
  本稿では、ゼロショットプロンプトによるバイアスを識別する微調整言語モデルの評価について述べる。 LLaMAと2つの命令を微調整したバージョンで、Alpaca 7Bは56.7%の精度でバイアス識別タスクで最善を尽くしている。
  論文  参考訳（メタデータ） (2023-07-19T22:03:40Z)
• MiniLLM: Knowledge Distillation of Large Language Models [112.93051247165089]
  知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。 より小さな言語モデルにLPMを蒸留するKD手法を提案する。 提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
  論文  参考訳（メタデータ） (2023-06-14T14:44:03Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)
• Learn What Is Possible, Then Choose What Is Best: Disentangling One-To-Many Relations in Language Through Text-based Games [3.615981646205045]
  望ましい振る舞いをエミュレートできる言語モデルをトレーニングするアプローチを提案する。 テキストベースのゲームをテストベッドとして使用することで、PASAは個別の潜伏変数を用いて異なる動作範囲をキャプチャする。 その結果,従来の最先端モデルよりも49%の実証的改善が得られた。
  論文  参考訳（メタデータ） (2023-04-14T17:11:26Z)
• Large Language Models Are Reasoning Teachers [9.290757451344673]
  ファインチューンCoTは、非常に大きな教師モデルからより小さなモデルへの推論サンプルを生成する方法である。 また,Fin-Tune-CoTは,多くのタスクにおいて,プロンプトベースベースラインや教師モデルよりもはるかに優れた小型モデルにおいて,相当な推論能力を実現する。
  論文  参考訳（メタデータ） (2022-12-20T08:24:45Z)
• Teaching Small Language Models to Reason [19.625523231233128]
  思考の連鎖は、大きな言語モデルの推論能力をうまく改善する。 我々は、知識蒸留による1000億のパラメータ未満のモデルへのそのような推論能力の移譲について検討する。 実験の結果,提案手法は算術的,常識的,記号的推論的データセット間でのタスク性能を向上させることがわかった。
  論文  参考訳（メタデータ） (2022-12-16T11:24:42Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• One Teacher is Enough? Pre-trained Language Model Distillation from Multiple Teachers [54.146208195806636]
  本稿では,事前学習型言語モデル圧縮のためのMT-BERTという多言語知識蒸留フレームワークを提案する。 MT-BERTは、複数の教師PLMから高品質な学生モデルを訓練できることを示す。 PLMの圧縮におけるMT-BERTの有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2021-06-02T08:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。